{"id":747,"date":"2018-08-31T10:36:56","date_gmt":"2018-08-31T09:36:56","guid":{"rendered":"http:\/\/louis.hatier.me\/blog\/?p=747"},"modified":"2018-09-08T08:51:39","modified_gmt":"2018-09-08T07:51:39","slug":"monitoring-elastic-stack","status":"publish","type":"post","link":"https:\/\/louis.hatier.me\/blog\/monitoring-elastic-stack\/","title":{"rendered":"Monitoring : Elastic Stack"},"content":{"rendered":"

\"Logo<\/a>Elastic Stack, anciennement ELK (Elasticsearch, Logstash, Kibana), est une suite d’outils qui ensemble permettent de monitorer des serveurs.<\/span><\/p>\n

Beats et ses sous-modules sont charg\u00e9s de r\u00e9cup\u00e9rer les logs (Filebeat) et informations machine (CPU, RAM, Disk) avec Metricbeat. Ces agents sont \u00e0 installer sur les serveurs clients.<\/p>\n

Logstash collecte ces donn\u00e9es, les transforme si besoin et les ins\u00e8re dans Elasticsearch, qui stock et index toutes les donn\u00e9es.<\/p>\n

Kibana est responsable de l’interface, permettant de cr\u00e9er des dashboards customis\u00e9s, et de chercher des informations dans tout le flow de data.<\/p>\n

Le module compl\u00e9mentaire X-Pack permet d’ajouter une couche int\u00e9ressante de s\u00e9curit\u00e9 et d’alerting, il faudra toutefois s\u2019acquitter d’une licence<\/a>.<\/p>\n

<\/p>\n

Voici un sch\u00e9ma repr\u00e9sentatif :<\/p>\n

\"Elastic<\/a><\/p>\n

Un autre, provenant d’une slide Elastic :<\/p>\n

\"Elastic<\/a><\/p>\n

Docker<\/h2>\n

Il est possible de monitorer des d\u00e9mons Docker \u00e0 l’aide d’un Beat custom<\/a>.<\/p>\n

Commandes utiles<\/h2>\n

Lister les indices de recherche Elasticsearch<\/p>\n

curl http:\/\/localhost:9200\/_cat\/indices\r\n<\/code><\/pre>\n
Lister des r\u00e9sultats Metricbeat<\/p>\n
curl -XGET 'http:\/\/localhost:9200\/metricbeat-*\/_search?pretty'\r\n<\/code><\/pre>\n
Purge des donn\u00e9es<\/h2>\n
Le disque de votre serveur Elastic Stack va vite se remplir s’il r\u00e9cup\u00e8re des logs et metrics de plusieurs serveurs.<\/p>\n
Afin d’avoir une purge r\u00e9guli\u00e8re des data, il est possible d’utiliser Elasticsearch Curator, qui se configure via un fichier action_curator.yml<\/code><\/p>\n
actions:\r\n    1:\r\n        action: delete_indices\r\n        description: \"Supprime les anciens indices\"\r\n        options:\r\n            timeout_override:\r\n            continue_if_exception: False\r\n            disable_action: False\r\n        filters:\r\n        - filtertype: kibana\r\n            exclude: True\r\n        - filtertype: age\r\n            source: creation_date\r\n            direction: older\r\n            unit: days\r\n            unit_count: 30\r\n            exclude: False\r\n<\/code><\/pre>\n
Une fois cet utilitaire plac\u00e9 dans une CRON<\/a> quotidienne, il supprimera les indices Elasticsearch de plus de 30 jours, en ignorant les indices kibana afin de pas supprimer les dashboards.<\/p>\n
\"Share<\/a>