使用hdfs是一項(xiàng)最常見的hadoop集群管理工作，雖然可以通過(guò)多種方式訪問(wèn)HDFS，但命令行是管理HDFS存儲(chǔ)的最常用的方法。例如webHDFS、使用HttpFS網(wǎng)關(guān)通過(guò)防火墻訪問(wèn)HDFS、通過(guò)Hue的文件瀏覽器。

湯陰ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

使用 hdfs ：dfs命令來(lái)管理HDFS

語(yǔ)法如下：

hdfs dfs ?[GENERIC_OPTION] ?[COMMAND_OPTION]

1、列出HDFS的文件和目錄

hdfs ?dfs ?-ls ?/ ?????查看文件/路徑的文件及目錄

?

可以在ls后面加-d列出目錄及查看目錄相關(guān)信息 ?-R ?-h ?

hdfs ?dfs ?-cat ?/path/file.txt?????查看file.txt的內(nèi)容

關(guān)于hdfs dfs的更多選項(xiàng)可以輸入hdfs dfs -help

2、使用hdfs stat命令獲取相關(guān)文件的詳細(xì)信息

?

%n 返回文件或者目錄名

%b 返回文件目錄的大小，byte。從上面看出目錄不占用空間，它的大小為0.

%g 返回group

%y 格式話時(shí)inode的mtime

%u 用戶

3、創(chuàng)建HDFS目錄

創(chuàng)建hdfs目錄和linux文件系統(tǒng)中創(chuàng)建目錄類似，可以使用mkdir命令創(chuàng)建hdfs創(chuàng)建

Hadfs ?dfs ?-mkdir ?/usr/hadoop/dir1???必須/usr/hadoop路徑存在才能創(chuàng)建

如果要沿路徑創(chuàng)建父目錄，指定-p參數(shù)

4、刪除HDFS文件和目錄

刪除hdfs文件和目錄的命令類似于linux文件系統(tǒng)中的命令。使用-r|R選項(xiàng)遞歸方式刪除目錄及該目錄下的所有內(nèi)容。

-skipTrash 選項(xiàng)是繞過(guò)hdfs回收站立即刪除指定文件及目錄

hdfs ?dfs ?-rm -R /usr/hadoop/dir/????刪除dir目錄及dir目錄下的文件及目錄

5、更改文件目錄所有權(quán)和組

可以使用-chown命令更改素有者和組名稱

$hdfs dfs -chown sam:produser /usr/data/name.txt

使用chgrp命令僅更改用戶的組

$hdfs dfs -chgrp supergroup /data/sales/makrer.txt

更改hdfs文件權(quán)限

可以使用chmod命令更改文件或目錄的權(quán)限hadoop使用標(biāo)準(zhǔn)的linux文件權(quán)限。

$hdfs dfs -chmod -R ?/data/meta.txt????

只有超級(jí)用戶或文件及目錄的所有者才能更改權(quán)限，使用chgrp、chmod和chown命令并指定-R選項(xiàng)可以對(duì)指定目錄進(jìn)行遞歸更改

6、使用dfsadmin使用程序執(zhí)行HDFS操作

使用dfsadmin命令從命令行管理HDFS，雖然hdfs dfs命令可以管理HDFS文件和目錄，但dfsadmin命令可以執(zhí)行HDFS特定的管理任務(wù)。

dfsadmin -report命令能夠顯示集群的基本統(tǒng)計(jì)信息，包括DataNode和NaneNode的狀態(tài)、配置的磁盤容量和數(shù)據(jù)塊的運(yùn)行狀況等有用的信息。

?

dfsadmin -report命令顯示整個(gè)集群的HDFS信息，以及集群中每個(gè)節(jié)點(diǎn)的HDFS詳細(xì)信息。DFS命令顯示集群各個(gè)dataNode級(jí)的以下信息。

hdfsadmin -report命令可以檢查HDFS數(shù)據(jù)的平衡性，以及HDFS損壞情況。

Dfsadmin -refreshNodes命令用于更新連接到NameNode的DataNode列表。Namenode從dfs.hosts指向文件和hdfs-site.xml中的dfs.hosts.ex-clude配置參數(shù)讀取DataNode的主機(jī)名。Dfs.hosts文件列出了允許注冊(cè)到namenodede所有主機(jī)。dfs.hosts.exclude文件列出了所有需要停用的datanode

?

dfsadmin -metasave命令提供的信息比dfsadmin -report命令提供的更多。

文件保存在/hadoop/log/下，可以find命令在本機(jī)查找

?

HDFS用戶和超級(jí)用戶

在hadoop中創(chuàng)建用戶是一種誤稱，因?yàn)樵贖DFS中沒(méi)有辦法像linux系統(tǒng)中一樣創(chuàng)建用戶身份，在默認(rèn)的身份驗(yàn)證模式，hadoop依賴底層操作系統(tǒng)來(lái)確定客戶端身份，如果設(shè)置了kerbers系統(tǒng)測(cè)kerberos確定客戶端的身份。

由于hadoop中沒(méi)有用戶什么的概念，故hadoop沒(méi)有固定的超級(jí)用戶。Hadoop的系統(tǒng)超級(jí)用戶只是啟動(dòng)NameNode的操作系統(tǒng)用戶。Hdfs的超級(jí)用戶不必是namenode主機(jī)的root用戶?？梢詫⒁唤M用戶分配給單獨(dú)的超級(jí)用戶組。

管理HDFS磁盤使用情況

可以使用df命令查找可用過(guò)的空間

$hdfs dfs -df -h

?

hdfs dfs -du -s -h 獲取已用空間的總和

檢查當(dāng)前空間的配額

使用dfs -count -q命令

?

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前題目：HDFS命令及管理HDFS-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://jinyejixie.com/article26/ccpgjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、靜態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營(yíng)銷推廣、App設(shè)計(jì)、營(yíng)銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)