大數(shù)據(jù)的生態(tài)系統(tǒng)如今已經(jīng)非常龐大，涌現(xiàn)大量主流數(shù)據(jù)處理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不計其數(shù)的Apache開源項目(最受歡迎的十個開源大數(shù)據(jù)技術)。

創(chuàng)新互聯(lián)是專業(yè)的樺川網(wǎng)站建設公司，樺川接單;提供成都做網(wǎng)站、網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行樺川網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

今天我們要推薦的五個“非主流”開源大數(shù)據(jù)技術項目，在某些特定的應用場合，往往能助您出奇制勝。

一、Luigi

Luigi是Spotify開發(fā)的數(shù)據(jù)管線批處理工具，熱度正在不斷飆升。Luigi的定位不是取代底層數(shù)據(jù)處理工具如Hive或者Pig，而是在眾多任務間創(chuàng)建工作流。Luigi原生支持Hadoop，這對于很多用戶來說非常有吸引力。

近日創(chuàng)業(yè)公司Mortar就將Spotify開發(fā)的開源大數(shù)據(jù)工具Luigi搬上云端，在亞馬遜云上提供復雜的，涉及大量工具和數(shù)據(jù)庫的大數(shù)據(jù)流水線處理服務，不論是否使用Hadoop，用戶都可以用Luigi管理復雜的大數(shù)據(jù)工作流。

二、Lumify

Lumify是一個開源大數(shù)據(jù)分析和可視化平臺，開發(fā)者Altamira認為當前的大數(shù)據(jù)分析工具并不完善，因此開發(fā)了Lumify來聚合、管理和洞察數(shù)據(jù)，此外，Lumify還可以用來分析數(shù)據(jù)內部之間的關系，進行地理圖形數(shù)據(jù)分析，并實時組織和協(xié)調數(shù)據(jù)。Lumify的官網(wǎng)由比較完整的文檔和介紹視頻，還提供了了一個在線應用示例。

三、Google 云平臺Hadoop互操作工具

這個技術項目來自Google Cloud Platform的官方Github賬號，描述如下：

為實現(xiàn)Hadoop相關開源軟件、Google云平臺之間互操作的代碼庫和工具集。如果你打算在Google云平臺上運行基于HDFS數(shù)據(jù)的Map-Reduce任務，那么這些工具值得投資。

四、Presto

Presto是一個分布式的大數(shù)據(jù)SQL查詢引擎，支持所有數(shù)據(jù)源格式，以及從GB到PB級別的數(shù)據(jù)規(guī)模。Presto主打的賣點是速度和可擴展性，如果你想提升SQL查詢速度又不愿對數(shù)據(jù)源存儲系統(tǒng)進行投資或改動，或者需要對存儲在多個平臺的數(shù)據(jù)源進行查詢，Presto都是值得考慮的選擇。Presto的官網(wǎng)由比較詳細的資料，這里還有一個Teradata的五分鐘視頻介紹(youtube)，以及Facebook的Presto設置應用指南(youtube)。

五、Clusterize

來自Denis Lukov的這個項目是今天介紹的“非主流”中的非主流，與前面介紹的四個后端數(shù)據(jù)科學/工程工具不同，Clusterize是一個Javascript寫成的前端開發(fā)小項目，目的是提高大數(shù)據(jù)集的瀏覽效率，降低延遲，這算得上是一個大數(shù)據(jù)工具嗎？也許吧，至少對于很多開發(fā)者來說是如此。

網(wǎng)站標題：五個不容忽視的“非主流”大數(shù)據(jù)技術工具
當前鏈接：http://jinyejixie.com/article10/sopogo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)頁設計公司、定制網(wǎng)站、網(wǎng)站營銷、動態(tài)網(wǎng)站、網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)