Installation de la suite ELK sur une DEBIAN
Bon ça faisait pas mal de temps que je n'avais pas posté un article. Je travaille actuellement sur les moteurs de recherche. Je suis actuellement en train de monter une architecture ELK (ELASTICSEARCH, LOGSTASH, KIBANA) pour pouvoir gérer l'insertion au fil de l'eau ou en BATCH de données dans le moteur de recherche ELASTICSEARCH.
Architecture et composants
L'architecture typique est la suivante :
On y retrouvera les éléments suivants :
Agents (shipper)
C'est un agent LOGSTASH qui prend désormais la place d'un ETL. Dans mon cas, il scanne un répertoire pour la présence et la modification de fichiers et les envoie au moteur de recherche ou au buffer
Buffer ou le Broker
C'est un cache permettant de découpler les envois de fichiers du moteur de recherche. La base NoSQL REDIS est la plus utilisée pour ce rôle
Indexer /Moteur de recherche
J'utilise ELASTICSEARCH pour ceci
Interface graphique
On utilisera le plugin Kibana d' ELASTICSEARCH
Je décrirai dans cet article l'installation de LOGSTASH et ELASTICSEARCH
Prérequis
Avoir installé un JDK (version 7 minimum)
Installation de LOGSTASH et ELASTICSEARCH
J'utilise les repository décrits sur le site d'elasticsearch
Lancer la commande suivante
#wget -qO - http://packages.elasticsearch.org/GPG-KEY-elasticsearch | sudo apt-key add -
Puis dans le fichier
/etc/apt/sources.list.d/elasticsearch.list
deb http://packages.elasticsearch.org/elasticsearch/1.3/debian stable main deb http://packages.elasticsearch.org/logstash/1.4/debian stable main
Lancer les commandes suivantes
#apt-get install logstash elasticsearch
Installation de KIBANA
Après avoir téléchargé l'archive, la placer dans le répertoire
/var/www
cp kibana-3.1.1.tar.gz /var/www/ cd /var/www/ tar -zxf kibana-3.1.1.tar.gz mv kibana-3.1.1 kibana vi kibana/config.js
Assigner l' URL d'elasticsearch
elasticsearch: "http://127.0.0.1:9200"
Redémarrer apache ( pas obligatoire, mais ça ne fait pas de mal....)
#service apache2 restart
Enfin on peut tester la connexion au portail KIBANA 
