Mickaelbaron-Hadoopinstallation Part3
Mickaelbaron-Hadoopinstallation Part3
Mickaelbaron-Hadoopinstallation Part3
II-A - Prérequis
Avant toutes installations de nouveaux paquets, mettez à jour le cache des paquets sur votre machine. La commande
suivante téléchargera la nouvelle liste des paquets proposés par le dépôt.
II-A-2 - Java
Hadoop nécessite une version Java 7 ou au moins Java 6. Veuillez consulter cette page pour connaître les
compatibilités de la plate-forme Java avec Apache Hadoop.
Pour ce tutoriel, la version 7 de Java sera utilisée via la distribution OpenJDK. Voir commande ci-dessous pour
installer OpenJDK 7 sur un Linux.
$ java -version
java version "1.7.0_25"
OpenJDK Runtime Environment (IcedTea 2.3.10) (7u25-2.3.10-1ubuntu0.12.04.2)
OpenJDK 64-Bit Server VM (build 23.7-b01, mixed mode)
Nous emploierons un utilisateur Hadoop spécifique pour exécuter un nœud Hadoop. Bien que celui-ci ne soit pas
requis, il est fortement recommandé de séparer les installations des logiciels afin de garantir les problèmes de sécurité
et de permissions.
À la suite de la dernière instruction, il vous sera demandé un mot de passe, saisir hduser. Pour les autres informations
demandées donner les valeurs par défaut.
Un utilisateur hduser avec le mot de passe hduser sera créé et ajouté au groupe hadoop.
$ su hduser
-5-
Le contenu de cet article est rédigé par Mickael BARON et est mis à disposition selon les termes de la Licence Creative Commons Attribution - Partage dans les Mêmes Conditions 3.0 non
transposé. Les logos Developpez.com, en-tête, pied de page, css, et look & feel de l'article sont Copyright ® 2018 Developpez.com.
https://mbaron.developpez.com/tutoriels/bigdata/hadoop/installation-configuration-cluster-singlenode-avec-cloudera-cdh5/
Tutoriel d'introduction à Apache Hadoop par Mickael BARON
Hadoop nécessite un accès SSH pour gérer les différents nœuds. Bien que nous soyons dans une configuration
simple nœud, nous avons besoin de configurer l'accès vers localhost pour l'utilisateur hduser que nous venons de
créer précédemment.
Avant tout, nous devons générer une clé SSH pour l'utilisateur hduser.
Cette commande va créer une clé RSA avec un mot de passe vide. Dans notre cas de virtualisation, l'absence de
mot de passe n'a pas d'importance. Assurez-vous d'en fixer un si votre serveur est accessible depuis l'extérieur.
Vous devez ensuite autoriser l'accès au SSH de la machine avec cette nouvelle clé fraîchement créée.
La dernière chose à réaliser est de tester la connexion SSH à partir de l'utilisateur hduser.
$ ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is 11:5d:55:29:8a:77:d8:08:b4:00:9b:a3:61:93:fe:e5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.2.0-23-generic x86_64)
* Documentation: https://help.ubuntu.com/
Welcome to your Vagrant-built virtual machine.
Last login: Sat Dec 14 20:19:33 2013 from 127.0.0.1
hduser@precise64:~$
II-B - Installation
La distribution Cloudera fournit une installation par package assez souple. Il est donc possible d'ajouter les différents
composants de la distribution Hadoop via le gestionnaire de packages.
$ wget http://archive.cloudera.com/cdh5/one-click-install/precise/amd64/cdh5-
repository_1.0_all.deb
-6-
Le contenu de cet article est rédigé par Mickael BARON et est mis à disposition selon les termes de la Licence Creative Commons Attribution - Partage dans les Mêmes Conditions 3.0 non
transposé. Les logos Developpez.com, en-tête, pied de page, css, et look & feel de l'article sont Copyright ® 2018 Developpez.com.
https://mbaron.developpez.com/tutoriels/bigdata/hadoop/installation-configuration-cluster-singlenode-avec-cloudera-cdh5/