1、當(dāng)我做transfomer的時(shí)候沒有問題，可是一做到action操作就會(huì)報(bào)錯(cuò)。
以下是幾個(gè)小問題：
distFile = sc.textFile(" hdfs://user/spark/test/201201.csv")
distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
執(zhí)行第一條沒問題，執(zhí)行第二條的時(shí)候就會(huì)報(bào)錯(cuò)：
Illegal character in scheme name at index 0: hdfs://user/spark/test/201201.csv
之后找了半天，發(fā)現(xiàn)寫地址的時(shí)候沒小心復(fù)制多了個(gè)空格，導(dǎo)致這個(gè)問題。
修改掉之后再一運(yùn)行，又換了個(gè)錯(cuò)誤：
大概是包括net什么的，具體沒保留，查了一下，修改地址：
distFile = sc.textFile("hdfs://master:8020/user/spark/test/201201.csv")
之后又報(bào)了個(gè)錯(cuò)誤，pyspark.sql.utils.IllegalArgumentException: 'java.net.UnknownHostException: user'
這之后查了一些資料也沒有太有用的，突然我想為什么一定用絕對(duì)路徑，相對(duì)路徑試試。于是之后：
distFile = sc.textFile("hdfs://user/spark/test/201201.csv")
這次沒有問題了，正常執(zhí)行，之前的問題應(yīng)該是master:8020這部分，這個(gè)可以修改一些不同的設(shè)置試試，應(yīng)該也可以解決，另外編程過程中盡量不要用絕對(duì)路徑，多用相對(duì)路徑。

創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比源城網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式源城網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋源城地區(qū)。費(fèi)用合理售后完善，十載實(shí)體公司更值得信賴。

分享標(biāo)題：spark初探踩坑集錦
標(biāo)題路徑：http://jinyejixie.com/article12/jjgogc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、營銷型網(wǎng)站建設(shè)、建站公司、搜索引擎優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)