Rapport BigData

Rapport BigData

1/ Création d’une machine virtuelle sous Debian.

Pour ce tutoriel j’utilise Debian 9. Cette machine me servira de base pour toutes les autres et aura le rôle de Master.

[pic 1]

2/ une fois créé on installe Java

[pic 2]

3/ Duplication de la machine

A l’aide du logiciel VMWare je duplique ma machine pour en créer deux autres.

Ces machines seront mon Node1 et mon Node2

Exemple avec Node1, on répète le même processus pour le Node2.

[pic 3]

4/ Changer le nom des Nodes.

Après avoir cloner la machine Master, Il faut changer le nom de machine pour les nodes afin qu’elle puissent se reconnaître sur le réseau. Ici elles auront le nom de Node1 et Node2.

[pic 4][pic 5]

[pic 6]

[pic 7]

[pic 8]

On réalise la même opération pour le Node2.

5/ Accès SSH

Lors de l’installation de Debian sur la machine Master j’ai créer l’user “hduser”, il est donc déjà présent sur toutes les machines. Je me connecte donc en ssh avec cet utilisateur et l’outil MobaXtrem qui me permet d'exécuter des commandes sur les trois machines en même temps pour gagner du temps.

[pic 9]

6/ Modifier sshd_config sur toutes les machines

Sur Debian il est important de permettre le root login afin que hadoop fonctionne

[pic 10]

7/ Modification du Host sur toutes les machines

On rentre l’ip de la machine et son nom. Cela permet de traduire le nom de l’hôte en IP.

[pic 11]

8/ Création du groupe hadoop et ajout de hduser dedans sur toutes les machines.

[pic 12]

[pic 13]

9/ Génération de la clé SSH pour accéder aux machines sans mot de passe.

Il faut faire cette étape depuis toutes les machines pour que chacunes puissent accéder aux autres sans mot de passe.

[pic 14]

Puis copie de la clé sur les autres machines exemple de Master à Node2 :

[pic 15]

On peut voir que je peux maintenant me connecter sur le Node1 sans mot de passe depuis Master.

[pic 16]

10/ Génération de la clé pour se connecter au ssh localhost sans mot de passe→ toutes les machines

[pic 17]

11/ Copie des clés sur tous les nodes

[pic 18]

[pic 19]

[pic 20]

On peut maintenant se connecter au ssh localhost sur toutes les machines sans mot de passe.

12/ Installation de hadoop 2.9.0 sur toutes les machines.

[pic 21]

[pic 22]

13/ Modification du .bashrc sur toutes les machines.

[pic 23]

...