HDFSからローカルファイルシステムにファイルをコピーする方法

HDFSからローカルファイルシステムにファイルをコピーする方法。ファイルの下にファイルの物理的な場所はなく、ディレクトリもありません。さらに検証するために、それらをローカルに移動するにはどうすればよいですか。winscpを試してみました。

1. bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
2. bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
3. WebブラウザーでHDFS WEBUI（namenode_machine:50070）をポイントし、コピーするファイルを参照し、ページを下にスクロールして、[ ファイルのダウンロード ]をクリックします。

Hadoop 2.0では、

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

どこ、

• hdfs_input_file_path たぶん http://<<name_node_ip>>:50070/explorer.html

• output_path ファイルのコピー先となるファイルのローカルパスです。

• のget代わりに使用することもできますcopyToLocal。

HDFSからローカルファイルシステムにファイルをコピーするには、次のコマンドを実行します。

hadoop dfs -copyToLocal <input> <output>

• <input>：コピーするHDFSディレクトリパス（例：/ mydata）
• <output>：宛先ディレクトリのパス（例：〜/ Documents）

これらの両方の方法で達成できます。

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

例：

私のファイルは/sourcedata/mydata.txt にありますファイルをローカルファイルシステムのこのパス/ user / ravi / mydataにコピーします

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

ソース「ファイル」が同じディレクトリツリーにある複数のファイル（map-reduceの結果など）に分割されている場合は、次のコマンドを使用してローカルファイルにコピーできます。

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination

これは、UbuntuのVMインスタンスで機能しました。

hdfs dfs -copyToLocal [hadoopディレクトリ] [ローカルディレクトリ]

dockerを使用している場合は、次の手順を実行する必要があります。

1. hdfsからnamenodeにファイルをコピーします（hadoop fs -get output / part-r-00000 / out_text）。「/ out_text」はnamenodeに保存されます。

2. （docker cp namenode：/ out_text output.txt）により、namenodeからローカルディスクにファイルをコピーします。

3. output.txtは現在の作業ディレクトリにあります

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path