Scribd Logo
Importer

Bienvenue sur Scribd !

  • 3 vues

    TP2 Big Data Env Docker

    Transféré par

    inesabdelali11

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd

    TP2 Big Data Env Docker

    Transféré par

    inesabdelali11
    3 vues3 pages

    Copyright

    © © All Rights Reserved

    Formats disponibles

    PDF, TXT ou lisez en ligne sur Scribd

    Avez-vous trouvé ce document utile ?

    Ce contenu est-il inapproprié ?

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    3 vues3 pages

    TP2 Big Data Env Docker

    Transféré par

    inesabdelali11

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    sur 3

    Lab Big Data

    Section : Info_2
    2023 - 2024

    Dr Abdelkarim Mars

    TP 3 Hadoop avec Docker

    Installation de hadoop avec Docker :

    Le but de cet atelier ne vise pas à expliquer comment utiliser Docker ou


    comment configurer Hadoop avec Docker. L'idée est d'installer et de
    commencer à utiliser Hadoop via Docker. Il faut suivre simplement les étapes
    comme pour l'installation d'un nouveau logiciel.

    Étape 1 : pré-requis

    NB : Il faut installer linux, ubuntu 20.04.

    Note : Virtual Box ne prend pas en charge la virtualisation imbriquée,


    n'essayez donc pas d'installer Docker sur Virtual Box Linux.
    Étape 2 : installer Docker, Docker-Compose, Git

    1. Suivez ce lien pour installer Docker :

    https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-

    ubuntu-20-04

    Vérifier l’installation :

    Taper cette commande : $ docker –version

    2. Vérifier l’installation de docker composer :

    Taper cette commande : docker-compose --version


    3. Tester l’installation de GIT :
    Taper cette commande : $ git –version sinon suivez ce lien :
    (https://www.linode.com/docs/development/version-control/how-to-
    install-git-on-linux-mac-and-windows/)
    4. Installer l’image de docker :
    $ mkdir hadoop_docker
    $ cd hadoop_docker
    $ git clone https://github.com/m-semnani/bd-infra.git
    $ cd bd-infra
    docker-compose up -d
    5. Vérifier l’état des contenaires :
    docker ps
    6. Vérification des services :
    Verifier Namenode: http://localhost:50070/
    7. Connecter le namenode : $ docker exec -it namenode bash$ docker
    exec -it namenode bash

    8. Aller au rout : $cd


    9. Créer un rep scratch dans le root
    10. Télécharger cet exemple :

    http://eforexcel.com/wp/wpcontent/uploads/2017/07/5000-Sales-Records.zip
    11. #unzip sales5k.zip
    12. Vérifier le contenu : cat "5000 Sales Records.csv" | head

    13. Renommer le fichier : mv "5000 Sales Records.csv" sales5k.csv


    14. Afficher les fichier sous HDFS : # hdfs dfs -ls /
    15. Créer les rep :
    # hdfs dfs -mkdir /db# hdfs dfs -mkdir /db/sales

    16. Copier le fichier vers le HDFS :


    # hdfs dfs -copyFromLocal sales5k.csv /db/sales/
    17. Vérifier :
    # hdfs dfs -ls /db/sales/sales5k.csv# hdfs dfs -cat
    /db/sales/sales5k.csv | head
    18. Tester ces commandes
    # hdfs dfs -mkdir -p /db/test
    # hdfs dfs -mkdir -p /db/sample
    # hdfs dfs -touchz /db/test/sample.txt
    # hdfs dfs -cp /db/test/sample.txt /db/test/sample1.txt
    # hdfs dfs -mv /db/test/sample1.txt /db/sample/sample2.txt
    # hdfs dfs -rmr /db/test# hdfs dfs -du /db
    19. Arréter docker :
    $ docker stop $(docker ps -aq)

    Vous aimerez peut-être aussi