這篇文章主要介紹“Presto怎么安裝使用”的相關知識,小編通過實際案例向大家展示操作過程,操作方法簡單快捷,實用性強,希望這篇“Presto怎么安裝使用”文章能幫助大家解決問題。
成都創(chuàng)新互聯專業(yè)為企業(yè)提供天臺網站建設、天臺做網站、天臺網站設計、天臺網站制作等企業(yè)網站建設、網頁設計與制作、天臺企業(yè)網站模板建站服務,十余年天臺做網站經驗,不只是建網站,更提供有價值的思路和整體網絡服務。背景知識:Hive的缺點和Presto的背景
Hive使用MapReduce作為底層計算框架,是專為批處理設計的。但隨著數據越來越多,使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時,顯然不能滿足交互式查詢的需求。Presto是一個分布式SQL查詢引擎,它被設計為用來專門進行高速、實時的數據分析。它支持標準的ANSI SQL,包括復雜查詢、聚合(aggregation)、連接(join)和窗口函數(window functions)。這其中有兩點就值得探究,首先是架構,其次自然是怎么做到低延遲來支持及時交互。
PRESTO是什么?
Presto是一個開源的分布式SQL查詢引擎,適用于交互式分析查詢,數據量支持GB到PB字節(jié)。Presto的設計和編寫完全是為了解決像Facebook這樣規(guī)模的商業(yè)數據倉庫的交互式分析和處理速度的問題。
它可以做什么?
Presto支持在線數據查詢,包括Hive, Cassandra, 關系數據庫以及專有數據存儲。 一條Presto查詢可以將多個數據源的數據進行合并,可以跨越整個組織進行分析。Presto以分析師的需求作為目標,他們期望響應時間小于1秒到幾分鐘。 Presto終結了數據分析的兩難選擇,要么使用速度快的昂貴的商業(yè)方案,要么使用消耗大量硬件的慢速的“免費”方案。
誰在使用它?
Facebook使用Presto進行交互式查詢,用于多個內部數據存儲,包括300PB的數據倉庫。 每天有1000多名Facebook員工使用Presto,執(zhí)行查詢次數超過30000次,掃描數據總量超過1PB。領先的互聯網公司包括Airbnb和Dropbox都在使用Presto。
Presto是一個運行在多臺服務器上的分布式系統(tǒng)。 完整安裝包括一個coordinator和多個worker。 由客戶端提交查詢,從Presto命令行CLI提交到coordinator。 coordinator進行解析,分析并執(zhí)行查詢計劃,然后分發(fā)處理隊列到worker。
Presto查詢引擎是一個Master-Slave的架構,由一個Coordinator節(jié)點,一個Discovery Server節(jié)點,多個Worker節(jié)點組成,Discovery Server通常內嵌于Coordinator節(jié)點中。Coordinator負責解析SQL語句,生成執(zhí)行計劃,分發(fā)執(zhí)行任務給Worker節(jié)點執(zhí)行。Worker節(jié)點負責實際執(zhí)行查詢任務。Worker節(jié)點啟動后向Discovery Server服務注冊,Coordinator從Discovery Server獲得可以正常工作的Worker節(jié)點。如果配置了Hive Connector,需要配置一個Hive MetaStore服務為Presto提供Hive元信息,Worker節(jié)點與HDFS交互讀取數據。
安裝介質
1
網頁標題:Presto怎么安裝使用-創(chuàng)新互聯
成都網站建設公司_創(chuàng)新互聯,為您提供網站策劃、網站設計、云服務器、網站維護、ChatGPT、移動網站建設 聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯 猜你還喜歡下面的內容
|