Comment copier un fichier de HDFS vers le système de fichiers local

Comment copier un fichier de HDFS vers le système de fichiers local. Il n’y a pas d’emplacement physique d’un fichier sous le fichier, pas même le répertoire. Comment puis-je les déplacer vers mon local pour plus de validations.Je suis essayé par winscp.

    1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
    2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
    3. Pointez votre navigateur Web sur HDFS WEBUI ( namenode_machine:50070 ), accédez au fichier que vous souhaitez copier, faites défiler la page et cliquez sur Télécharger le fichier .

    Pour copier des fichiers de HDFS vers le système de fichiers local, la commande suivante peut être exécutée:

    hadoop dfs -copyToLocal

    • : le chemin du répertoire HDFS (par exemple / mydata) que vous souhaitez copier
    • : le chemin du répertoire de destination (par exemple, ~ / Documents)

    Dans Hadoop 2.0,

     hdfs dfs -copyToLocal   

    où,

    • hdfs_input_file_path peut être obtenu à partir de http://< >:50070/explorer.html

    • output_path est le chemin local du fichier où le fichier doit être copié.

    • vous pouvez également utiliser get in place de copyToLocal .

    vous pouvez accomplir ces deux manières.

     1.hadoop fs -get   2.hadoop fs -copyToLocal   

    Ex:

    Mes fichiers se trouvent dans /sourcedata/mydata.txt Je veux copier le fichier sur le système de fichiers local dans ce chemin / user / ravi / mydata

     hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/ 

    Cela a fonctionné pour moi sur mon instance VM d’Ubuntu.

    hdfs dfs -copyToLocal [répertoire hadoop] [répertoire local]

     bin/hadoop fs -put /localfs/destination/path /hdfs/source/path