Hadoop HDFS操作

啟動(dòng)HDFS

首先，您必須格式化配置的HDFS文件系統(tǒng)，打開(kāi)namenode（HDFS服務(wù)器），然后執(zhí)行以下命令。

$ hadoop namenode -format 

格式化HDFS后，啟動(dòng)分布式文件系統(tǒng)。以下命令將啟動(dòng)namenode以及數(shù)據(jù)節(jié)點(diǎn)作為集群。

$ start-dfs.sh 

在HDFS中列出文件

在服務(wù)器中加載信息后，我們可以在一個(gè)目錄中找到文件列表，文件的狀態(tài)，使用'ls'。下面給出了ls的語(yǔ)法，您可以將其傳遞到目錄或文件名作為參數(shù)。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

將數(shù)據(jù)插入HDFS

假設(shè)我們?cè)诒镜叵到y(tǒng)中的稱為file.txt的文件中有數(shù)據(jù)，應(yīng)該保存在hdfs文件系統(tǒng)中。按照以下步驟在Hadoop文件系統(tǒng)中插入所需的文件。

第1步

您必須創(chuàng)建一個(gè)輸入目錄。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

第2步

使用put命令將數(shù)據(jù)文件從本地系統(tǒng)傳輸并存儲(chǔ)到Hadoop文件系統(tǒng)。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

第3步

您可以使用ls命令驗(yàn)證文件。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input 

從HDFS檢索數(shù)據(jù)

假設(shè)我們?cè)贖DFS中有一個(gè)名為outfile的文件。下面給出的是從Hadoop文件系統(tǒng)中檢索所需文件的簡(jiǎn)單示例。

第1步

最初，使用cat命令查看HDFS中的數(shù)據(jù)。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile 

第2步

使用get命令將文件從HDFS獲取到本地文件系統(tǒng)。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/ 

關(guān)閉HDFS

您可以使用以下命令關(guān)閉HDFS。

$ stop-dfs.sh