Ya llevo un tiempo almacenando logs de nftables en el stack ELK. Al principio guardando los mensajes tal cual llegaban y más tarde aplicando algunos filtros de logstash muy prácticos que me permiten tratar la información de una forma más amigable.
En mi caso no utilizo una capa de Logstash para preprocesado de datos antes de indexarlos en Elastic por lo que el envío de logs es más sencillo. Si el output de Filebeat es Logstash probablemente sea necesario implementar algún filtro con grok para estructurar la información. El principal problema de Filebeat para parsear los… Leer más »
La herramienta Curator nos permite trabajar de forma sencilla con nuestros índices de Elasticsearch. Una de sus funcionalidades es la de eliminar índices con cierta antigüedad, ideal para realizar limpiezas periódicas y evitar que aumente la ocupación en disco de forma indefinida. En estos momentos Curator tiene su propio repositorio independiente del principal de elastic.… Leer más »
Para los que tengáis un stack ELK en un entorno de un sólo nodo sin alta disponibilidad, si comprobáis el estado de la monitorización veréis que la «salud» de los índices aparece en amarillo:
Lo tenía pendiente desde que monté el stack ELK con Metricbeat para sacar métricas de mis máquinas. Ahora le toca el turno a Auditbeat. En este artículo no voy a comentar cómo instalar todos los componentes ELK, eso está ya escrito en el anterior post que he enlazado. Simplemente me voy a centrar en Auditbeat.
Desde hace un tiempo tenía pendiente monitorizar los nodos virtualizados con KVM que tengo para el proyecto World Community Grid. Hay muchas maneras de hacerlo, pero me decidí por montar un stack ELK (Elasticsearch, Logstash y Kibana) en la máquina que tengo como servidor y recoger métricas con Metricbeat de cada nodo. Por tanto, para… Leer más »