Archives de catégorie : Moteur de recherche

ELK (Elasticsearch Logstash Kibana)

Gestion des logs avec Logstash, ElasticSearch et Kibana.

ElasticSearch est un moteur de recherche distribué, intégrant une base de données NoSQL, et RESTful, basé sur le moteur Apache Lucene.

Logstash est un outil de collecte, analyse et stockage de logs (input + filter + output).

Kibana a démarré comme un projet d’interface à Logstash. C’est aujourd’hui l’interface officielle de Elasticsearch. Visualisation des logs via une jolie interface qui permet de réaliser des dashboards donnant une vue d’ensemble sur la plate-forme.
Pour ce qui est de syslog : utilisation de rsyslog pour tout envoyer dans logstash. Côté logstash, configurer l’import pour récupérer les logs, utiliser le filtre grok (fonctionnement par expressions rationnelles) et configurer la sortie pour un envoi vers ElasticSearch.

Pour les logs applicatifs : Monolog (pour utilisation avec PHP) supporte de nombreux handlers, y compris pour envoyer vers ELK. Penser qu’on peut utiliser des processors pour enrichir les logs au passage, en particulier avec PSR-3 où chaque méthode de log reçoit un contexte en paramètre.

Source

Installation