ELK est-il en train de ramasser la mise ?
Elasticsearch est certainement le projet Open Source de ces dernières années avec Docker qui avance le plus vite. Dans le cas de Elasticsearch, on se demande où ils vont s’arrêter car en partant d’un moteur d’indexation; ils sont en train de construire une solution complète de monitoring.
Au début était Elasticsearch
J’ai commencé à découvrir Elasticsearch à son début via Logstash. Nous sommes en 2012, l’année où est créée la compagnie derrière Elasticsearch. Le but annoncé est de « jouer » avec les données. Il n’est donc pas suprenant de voir un premier projet de supervision de logs s’adosser à ce qui est alors un très jeune projet, prometteur certes mais jeune. La supervision peut en effet produire beaucoup de données… Vraiment beaucoup, que ce soient métriques ou événements !
Puis vint ELK
La deuxième période voit passer un moteur d’indexation à une solution n tiers composée d’un agent de collecte et traitement pour les événements (Logstash), d’un moteur de stockage et d’indexation (Elasticsearch) et enfin d’une nouveauté, une interface (Kibana). La solution prend corps est devient exploitable en « production ». Le petit nom de la solution devient dès lors ELK.
Kibana et Logsatsh consituent donc les premières acquisitions de projets externes réalisées par la compagnie. Elles complètes ces acquisitions par des projets internes visant à consolider Elasticsearch pour l’exploitation en production justement.
Naît donc Shield qui propose des ACLs, pour la gestion des accès à Elasticsearch et Marvel, qui permet de superviser son cluster Elasticsearch.
À ce stade, il manque finalement la possibilité de collecter des métriques de façon plus commode qu’avec Logstash et des notifications, alertes pour prévenir des incidents en cours.
Et bientôt, la complète ?
Pas de problème, il suffit d’acquérir la première solution d’analyze de flux Open Source nommée PacketBeat et de continuer à la faire évoluer… Très vite ! La version 1.0 beta est déjà sortie. La solution gagne donc au passage la capacité d’inspecter directement au niveau flux les MySQL, Nginx et cie… Un sacré complément à ce qu’il est possible d’analyser à partir de logs.
Complétez cette acquisition par Watcher qui permet de déceler et d’alerter sur les anomalies détectées pour voir se dessiner une solution qui paraît bien sexy pour la supervison d’architectures web plutôt dynamiques.
En attendant Beats, il est déjà possible de collecter beaucoup de choses avec un simple agent et un rsyslog bien configuré. Que ce soit pour analyser les flux applicatifs ou détecter des anomalies dans ceux-ci, la solution semble répondre à pas mal de besoins qui étaient mal ou peu gérés dans les solutions « traditionnelles ».
Avec Beats, c’est une solution qui vous permettra de collecter métriques et événements, de les traiter, de réagir sur les anomalies détectées et de présenter le tout dans des tableaux de bord plutôt attractifs… Bref, une solution « moderne » de supervision. Reste à voir le temps de paramétrage de l’ensemble au niveau collecte et tableaux de bord.
Mais les grandes manœuvres ne s’arrêtent pas là. La société Elasticsearch est devenue Elastic pour ne pas confondre le produit Elasticsearch d’une société qui fait désormais bien plus que ça. Et puis, à noté également en mars 2015 le rachat d’une société norvégienne spécialiste du « Search As A service » du nom de Found.
« Avis de tempête » sur la supervision
Laissons le temps nous dire si cette stratégie menée jusqu’à maintenant avec brio je trouve par la société Elasticsearch se trouve être payante. Et voyons pour nous, utilisateurs, si tout ça ne part pas en Open Core. Marvel par exemple n’est pas disponible au téléchargement, mais seulement sur souscription.
Mais surtout; observons la bataille qui se prépare dans l’Open Source au niveau supervision. D’un côté, la solution que je viens de présenter, de l’autre, Heka, Riemann, Prometheus, Bosun, InfluxDB, son propre agent de collecte dont j’ai déjà parlé et bientôt sa nouvelle interface, Chronograf… Pour ne citer que les nouveaux venus dans le domaine ! Et les plus anciens,les Nagios et cie ne se laisseront pas tondre la laine sur le dos, si je peux me permettre cette expression. Oui, je me permets. Un joyeux bordel en tout cas pour choisir la solution qui va bien dans le contexte donné… Mais qu’il est bon d’avoir le choix !
