Hadoop集群我們是用三臺(tái)筆記本電腦裝了Ubuntu虛擬機(jī)然后進(jìn)行集群的搭建。但是后來啟動(dòng)集群,一開始是主節(jié)點(diǎn)沒啟動(dòng)起來,因?yàn)榕渲梦募醋哐郏溴e(cuò)了,然后又重新初始化了一次,然后可能因?yàn)橹貜?fù)初始化,導(dǎo)致datanode又沒了,然后一直在嘗試,一直在搜到底什么原因。目前根據(jù)搜索到的以及老師說的總結(jié)起來有三點(diǎn):
1.配置文件出錯(cuò)了
2.ssh免密沒做好
3.重復(fù)初始化
這三個(gè)問題應(yīng)該在之前不斷循環(huán)往復(fù)的出現(xiàn)…
直到這周終于把集群?jiǎn)?dòng)起來并且能夠正常工作了。
雖然配置的可能優(yōu)點(diǎn)問題,但是還是可以參考我們課上講的配置文件,因?yàn)橹辽倏梢猿晒\(yùn)行:
Hadoop集群配置運(yùn)行
建議直接復(fù)制粘貼配置文件的內(nèi)容,因?yàn)榇蝈e(cuò)了又找不到錯(cuò)誤的感覺,真的很難受。
檢查ssh免密ssh免密最好每次啟動(dòng)前都檢查一次,因?yàn)閕p地址極有可能悄悄發(fā)生改變
記得ssh自己也得做
記得ssh自己也得做
記得ssh自己也得做
別能ssh別人,ssh自己不了
ssh免密方法可以參考:
Unbuntu使用手機(jī)熱點(diǎn)創(chuàng)建兩臺(tái)電腦的集群(實(shí)現(xiàn)ssh免密通信)
同時(shí),網(wǎng)速也得快點(diǎn),因?yàn)槿绻舆t很大,就極有可能掉節(jié)點(diǎn),導(dǎo)致問題出現(xiàn),不過如果節(jié)點(diǎn)并不多,網(wǎng)速開百度能秒開,應(yīng)該問題不是很大。
看網(wǎng)上說,重復(fù)初始化導(dǎo)致namenode的id和datanode的id不一致導(dǎo)致了節(jié)點(diǎn)的丟失,沒事,那咱們就把初始化出來的文件刪了,重新初始化就行了。
至于文件的位置,看配置文件里的位置
拿我的配置來說:
core-site.xml中
fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /home/bigdata3/hadoopdata1
其中/home/bigdata3/hadoopdata1這個(gè)文件就是初始化生成的文件。
在集群里的所有電腦都把這個(gè)文件得刪了
在集群里的所有電腦都把這個(gè)文件得刪了
在集群里的所有電腦都把這個(gè)文件得刪了
然后
重新初始化:
hadoop namenode -format
我們會(huì)看到這個(gè)文件重新生成了,那就是初始化生成的。
切記重新初始化的操作得集群沒啟動(dòng)的時(shí)候做,如果你的集群已經(jīng)啟動(dòng)了
就先:
stop-all.sh
把集群先關(guān)了再操作
總結(jié)如果上述三條都檢查了一遍,然后啟動(dòng)集群
start-all.sh
不出意外應(yīng)該是能夠正常運(yùn)行的。
我們就是這樣,一個(gè)坑接著一個(gè)坑,先是配置文件沒搞好,然后發(fā)現(xiàn)ssh免密偶爾失效,最后是確定配置文件沒問題,ssh免密剛做好,然后刪文件重新初始化,就成功啟動(dòng)了。
可以檢查一下節(jié)點(diǎn)情況
jps
此時(shí)如果可以訪問
http://master:8080
http://master:50070
并且能夠傳文件上去,那應(yīng)該沒什么問題了。
如果上述三條都做了還是不能啟動(dòng)成功,那我也愛莫能助了…
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級(jí)服務(wù)器適合批量采購(gòu),新人活動(dòng)首月15元起,快前往官網(wǎng)查看詳情吧
網(wǎng)頁(yè)名稱:Hadoop集群?jiǎn)?dòng)但是沒有datanode/namenode的情況-創(chuàng)新互聯(lián)
地址分享:http://jinyejixie.com/article48/pedep.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、建站公司、標(biāo)簽優(yōu)化、軟件開發(fā)、域名注冊(cè)、網(wǎng)頁(yè)設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容