這篇文章主要講解了“怎么安裝presto sql引擎訪問kudu數(shù)據(jù)”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么安裝presto sql引擎訪問kudu數(shù)據(jù)”吧！

創(chuàng)新互聯(lián)公司是一家專注于成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站、成都外貿(mào)網(wǎng)站建設(shè)公司與策劃設(shè)計(jì),奉賢網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:奉賢等地區(qū)。奉賢做網(wǎng)站價(jià)格咨詢:028-86922220

    Presto是一種用于大數(shù)據(jù)的高性能分布式SQL查詢引擎。其架構(gòu)允許用戶查詢各種數(shù)據(jù)源，如Hadoop，AWS S3，Alluxio，MySQL，Cassandra，Kafka和MongoDB，甚至可以在單個(gè)查詢中查詢來自多個(gè)數(shù)據(jù)源的數(shù)據(jù)，真是功能強(qiáng)大。

    這里梳理一下安裝過程，官網(wǎng)http://prestodb.github.io/，上篇已經(jīng)寫了怎么安裝kudu，之下是我安裝presto的過程：

    在官網(wǎng)先下載presto-server-0.225.tar.gz和presto-cli-0.225-executable.jar

    解壓之后，在該文件夾下添加相應(yīng)的配置：

在 presto-server-0.90 目錄創(chuàng)建 etc 目錄，并創(chuàng)建以下文件：

• node.properties：每個(gè)節(jié)點(diǎn)的環(huán)境配置

• jvm.config：jvm 參數(shù)

• config.properties：配置 Presto Server 參數(shù)

• log.properties：配置日志等級(jí)

• Catalog Properties：Catalog 的配置

    etc/node.properties 示例配置如下：

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/var/presto/data

參數(shù)說明：

• node.environment：環(huán)境名稱。一個(gè)集群節(jié)點(diǎn)中的所有節(jié)點(diǎn)的名稱應(yīng)該保持一致。

• node.id：節(jié)點(diǎn)唯一標(biāo)識(shí)的名稱。

• node.data-dir：數(shù)據(jù)和日志存放路徑。

    etc/jvm.config 示例配置如下：

-server
-Xmx16G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

    etc/config.properties 包含 Presto Server 相關(guān)的配置，每一個(gè) Presto Server 可以通時(shí)作為 coordinator 和 worker 使用。

coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8090
discovery-server.enabled=true
discovery.uri=http://cdh2:8090

參數(shù)說明：

• coordinator：Presto 實(shí)例是否以 coordinator 對(duì)外提供服務(wù)

• node-scheduler.include-coordinator：是否允許在 coordinator 上進(jìn)行調(diào)度任務(wù)

• http-server.http.port：HTTP 服務(wù)的端口

• discovery-server.enabled：是否使用 Discovery service 發(fā)現(xiàn)集群中的每一個(gè)節(jié)點(diǎn)。

• discovery.uri：Discovery server 的 url

    不要加這條配置task.max-memory=1GB，不然會(huì)報(bào)錯(cuò)，具體不知道為什么解析有問題。

    etc/log.properties 可以設(shè)置某一個(gè) java 包的日志等級(jí)：

com.facebook.presto=INFO

    關(guān)于 Catalog 的配置，首先需要?jiǎng)?chuàng)建 etc/catalog 目錄，然后根據(jù)你想使用的連接器來創(chuàng)建對(duì)應(yīng)的配置文件，比如，你想使用 jmx 連接器，則創(chuàng)建 jmx.properties：

connector.name=jmx

    如果你想使用 kudu 的連接器，則在 etc/catalog 創(chuàng)建 kudu.properties：

connector.name=kudu
kudu.client.master-addresses=localhost:7051

    可以看到在presto的根目錄下有很多連接器：

    這里我們啟動(dòng)一下sudo bin/launcher run，sudo bin/launcher start可與后臺(tái)運(yùn)行

    然后我們可以使用presto-cli-0.225-executable.jar來操作,當(dāng)然我把這么長(zhǎng)的jar縮短一下改成presto-cli，為了方面用

    ./presto-cli --server localhost:8090 --catalog kudu --schema default

    上面那那個(gè)users是我這樣創(chuàng)建的：

    然后像使用sql查詢一樣，插入兩條數(shù)據(jù)并且查詢：

感謝各位的閱讀，以上就是“怎么安裝presto sql引擎訪問kudu數(shù)據(jù)”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)怎么安裝presto sql引擎訪問kudu數(shù)據(jù)這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

文章名稱：怎么安裝prestosql引擎訪問kudu數(shù)據(jù)
本文地址：http://jinyejixie.com/article18/iisgdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、搜索引擎優(yōu)化、ChatGPT、外貿(mào)建站、軟件開發(fā)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)