Installation minimale d'une debian pour héberger un système de fichier hadoop
Me voila revenu a la case départ. je n'étais pas trop content de l'installation que j'avais effectuée . J'ai donc décidé de partir à zéro et d' installer une debian et configurer hadoop dessus.
Voila en gros les actions que j'ai mené
- Installation debian
- Installation outils divers
- Installation hadoop
- Configuration hadoop
Installation debian
Bon je ne vous ferai pas l'affront de vous expliquer comment installer une distribution gnu/linux. J'ai juste installé la distribution sans environnement graphique avec seulement un serveur ssh
Installation outils divers
J'ai installé via apt-get les outils suivants :
- bzip2
- vim
- openjdk-6-jdk
- openjdk-6-jre
Installation hadoop
J'ai installé hadoop via le package fourni pour debian/ubuntu
Configuration hadoop
modifier le fichier /etc/default/hadoop avec le bon chemin pour la JVM
J'ai également modifié les droits sur certains répertoires
chmod -R 777 /var/log/hadoop chmod -R 777 /var/run/hadoop
Je sais c'est crade, mais je n'avais pas trop envie de me prendre la tête...
Le paquet hadoop fournit quelques scripts de configuration. Il suffit de lancer la commande suivante
sudo ./usr/sbin/hadoop-setup-single-node.sh
Pour valider on peut lancer la commande suivante
sudo ./usr/sbin/hadoop-validate-setup.sh --user=hdfs
J'ai également copié les fichiers décrits dans mon précédent post qui sont présents dans le répertoire /usr/share/hadoop/templates/conf dans le répertoire /etc/hadoop.
Je les ai ensuite modifié comme dans mon précédente installation.
Et (re) voila une installation hadoop
