成都網(wǎng)站建設(shè)】海量數(shù)據(jù)戰(zhàn)爭——誰能贏得未來？

時至今日，海量數(shù)據(jù)時代的來臨已經(jīng)毋庸置疑，尤其是在互聯(lián)網(wǎng)、電信、金融等行業(yè)，幾乎已經(jīng)到了“數(shù)據(jù)就是業(yè)務(wù)本身”的地步。在這其中，還挾裹著一個更為重要的趨勢，即數(shù)據(jù)的社會化，這也是我們通常所說的非結(jié)構(gòu)化數(shù)據(jù)。

以往人們認(rèn)為，把企業(yè)自有的運營數(shù)據(jù)進(jìn)行深度分析后，自然會有所得。但在今天看來，這種做法的一大缺陷就是，數(shù)據(jù)不夠全面、及時。從理論上講，誰掌握的數(shù)據(jù)越全面，得出的結(jié)論就越趨向于合理。企業(yè)只有構(gòu)建一個容納了足夠多關(guān)鍵信息的“深水池”，才更有可能做出正確的決策。

這種趨勢已經(jīng)讓很多相信數(shù)據(jù)之力量的企業(yè)做出改變，隨之而來的，則是企業(yè)在IT架構(gòu)上的改變，這也意味著，海量數(shù)據(jù)市場，正孕育著一個前景無法限量的巨大商機。

海量數(shù)據(jù)市場爭奪——對IT大佬們而言，這也是一場誰也輸不起的“戰(zhàn)爭”。

Hadoop的神話

從Yahoo的 Web搜索研究，到Facebook的數(shù)據(jù)分析，再到百度的搜索日志分析、淘寶的數(shù)據(jù)魔方服務(wù)，以及中移動推出了 “大云”(BigCloud)系統(tǒng)，Hadoop的身影都已經(jīng)到處閃現(xiàn)。簡單來講，社會化數(shù)據(jù)時代的企業(yè)需要像八爪魚一樣，能夠發(fā)現(xiàn)并拿到他需要的數(shù)據(jù)，而Hadoop技術(shù)的好處就是，不但可以方便地嵌入到各種實際應(yīng)用中以實現(xiàn)全文搜索/索引，而且可以進(jìn)行數(shù)據(jù)抓取。比如雅虎，通過應(yīng)用這一技術(shù)，幾乎可以實時分析每一個頁面點擊并優(yōu)化內(nèi)容的排名，每7分鐘就能更新一次結(jié)果。

以Hadoop為代表的海量數(shù)據(jù)處理開源工具無疑是吸引人的，“開源工具可以查看代碼，這樣開發(fā)者可以找到他們整合時里面是什么。在幾乎所有的案例中，開源分析都更具性價比和靈活性。”Revolution Analytics的Minelli表示。

數(shù)據(jù)量在持續(xù)的增長，公司將被迫增加基礎(chǔ)設(shè)施的部署。專利費用將一直增加，而開源技術(shù)，則省了這筆一直持續(xù)的專利費。Twitter選擇Hadoop，其中重要的原因是專有工具的費用太高。

Hadoop之所以能夠風(fēng)靡一時，在筆者看來，除了其在海量數(shù)據(jù)處理上的方式，最重要的因素關(guān)鍵在于它是免費的。

更長遠(yuǎn)的來看，開源工具使企業(yè)創(chuàng)建新的分析技術(shù)，更好的處理非結(jié)構(gòu)化的語言，比如圖片等。而不能寄托于傳統(tǒng)廠商發(fā)展新的分析技術(shù)。開源工具給了企業(yè)創(chuàng)新的機會。

但是Hadoop也并不能代表一切，Hadoop的MapReduce在性能上的確是有局限性的：比如MapReduce沒有索引，只有靠強大的運算能力來處理；此外，MapReduce本身存在一些lower-level實現(xiàn)的問題, 特別是skew和數(shù)據(jù)交換等等。

Cloudscale創(chuàng)始人和首席執(zhí)行官Bill McColl曾指出，從性能上而言，下一代的架構(gòu)需要在MapReduce/Hadoop的基礎(chǔ)上有10——10000倍的性能提高。正因如此，我們看到，針對Hadoop遭遇到的性能瓶頸，Yahoo正準(zhǔn)備開始對Hadoop進(jìn)行重構(gòu)。

與此同時，Hadoop的競爭對手們，比如Cloudera、Mapr們，正緊鑼密鼓地推出更具競爭力的產(chǎn)品和技術(shù)，而最新的產(chǎn)品無疑是Mapr，Marp是一個比現(xiàn)有Hadoop分布式文件系統(tǒng)還要快三倍的產(chǎn)品，并且也是開源的。Mapr配備了快照，并號稱不會出現(xiàn)SPOF單節(jié)點故障，且被認(rèn)為是與現(xiàn)有HDFS的API兼容。因此非常容易替換原有的系統(tǒng)。

總之，Hadoop并不一定適合所有的案例。比如海量數(shù)據(jù)的捕捉、存儲、分析，依靠特殊的應(yīng)用的特性，等等，這些都非Hadoop所長。相比較Hadoop的處理能力，一些SQL架構(gòu)依然呈現(xiàn)數(shù)量級的優(yōu)勢。從某種意義上而言，在采用scale-out網(wǎng)絡(luò)連接方式的EMC Isilon或IBM的SONAS，可能對于使用非結(jié)構(gòu)化的數(shù)據(jù)比如圖片、視頻會更好。

因此，海量數(shù)據(jù)競爭的另外一個領(lǐng)域就是開源與專有工具的混合使用，這也是傳統(tǒng)的IT大佬們正在努力的方向。

IT大佬們的海量數(shù)據(jù)算盤

如果你認(rèn)為IBM、EMC、Oracle、微軟這些傳統(tǒng)的數(shù)據(jù)技術(shù)大佬們對海量數(shù)據(jù)這個市場視而不見，那么你就錯了。IBM、EMC、甚至包括微軟，他們與開源項目的合作一直都非常緊密。

IBM

實際上，IBM早已擁有了Hadoop項目，并推出了在Hadoop架構(gòu)上建立作為群集運行DB2或Oracle數(shù)據(jù)庫的集群系統(tǒng)，根據(jù)IBM的測試數(shù)據(jù)顯示，在IBM一個擁有40個節(jié)點的文件系統(tǒng)將有12GB/sec吞吐量，并與400個節(jié)點的系統(tǒng)可以達(dá)到120GB/sec吞吐量。

如果再深究的話，你可以發(fā)現(xiàn)，在海量數(shù)據(jù)上，IBM其實主打的是小型機的并行運算，這一點，從其前不久推出的Watson就能看出，由90臺Power組成的Watson是一個非常典型的BI實例，從數(shù)據(jù)存儲、到數(shù)據(jù)分析與挖掘，Watson體現(xiàn)的是IBM對于未來海量數(shù)據(jù)的實現(xiàn)原理，Watson存儲了海量的百科全書、論文文獻(xiàn)等等以文章方式存儲的資料，它們之中也會有相關(guān)的信息。但由于這些資料是非結(jié)構(gòu)化的，所以watson必須通過非常費力的文本搜索來取得信息。而這個過程中又會用到前面用過的提取專有名詞、詞性、文本結(jié)構(gòu)等方式。

從架構(gòu)上可以看到，Watson所使用的軟件實質(zhì)是建立在IBM開源的UIMA體系結(jié)構(gòu)之上。UIMA是一個用于非結(jié)構(gòu)化信息管理應(yīng)用的平臺，提供了一個可使問題處理模塊獨立工作的框架，能夠?qū)Y(jié)果進(jìn)行篩選得出答案。而Apache項目則開發(fā)了當(dāng)前的UIMA版本以及一些通用模塊，而Watson在電視節(jié)目中使用的模塊只是其中的一部分。

EMC

2010年7月，當(dāng)EMC宣布以現(xiàn)金方式收購私有數(shù)據(jù)存儲公司Greenplum后，迅速以Greenplum為基礎(chǔ)，在信息基礎(chǔ)架構(gòu)業(yè)務(wù)部門之下組成一個新的部門——數(shù)據(jù)計算產(chǎn)品部。而在完成了Isilon的收購后，EMC也完全具備了進(jìn)軍海量數(shù)據(jù)市場的一切產(chǎn)品和技術(shù)。

根據(jù)EMC的Isilon橫向擴展NAS架構(gòu)（使用其OneFS操作系統(tǒng)）可以看到，其可在單一文件系統(tǒng)中擴展至10PB以上，并支持每秒50GB的吞吐量。然而，大數(shù)據(jù)應(yīng)用可能會更注重某方面或其其他相關(guān)數(shù)據(jù)。因此，Isilon中的S產(chǎn)品系列主要針對于高事務(wù)處理和IOPS密集的應(yīng)用，比如基因組研究；而X系列解決方案主要針對容量密集型應(yīng)用，諸如醫(yī)療圖像這樣的需要高并發(fā)處理和順序吞吐的應(yīng)用。

而Greenplum則專注于應(yīng)對大數(shù)據(jù)所帶來的分析挑戰(zhàn)。其產(chǎn)品套件支持分析密集型的大數(shù)據(jù)集，最終幫助終端用戶大數(shù)據(jù)中挖掘突出價值。這通常需要復(fù)雜分析，比如特定的互動分析，而非簡單的結(jié)構(gòu)報告。分析速度尤其重要，特別是在需要頻繁執(zhí)行時以及數(shù)據(jù)分析結(jié)果有助于決策時。此外，為滿足更大規(guī)模的數(shù)據(jù)應(yīng)用需求，Greenplum還開發(fā)了大規(guī)模并行處理（MPP）系統(tǒng)，其關(guān)鍵要素在于性能和可擴展性。

微軟

應(yīng)該說，在非結(jié)構(gòu)化數(shù)據(jù)市場，微軟一直都在對這個市場持續(xù)認(rèn)真地投入，并于去年年底發(fā)布了公測版Dryad平臺，其實，Dryad也并非微軟的新產(chǎn)品，Dryad和DryadLINQ其實早在微軟收購Powerset之前就已經(jīng)存在，目前推出的，只不過是商業(yè)版。微軟于2007年首度揭曉了關(guān)于技術(shù)的研究成果，并于2009年向?qū)W術(shù)界推出了非商業(yè)版Dryad和DryadLINQ。

值得注意的是，2008年，微軟曾收購了Powerset，并將Powerset基于Hadoop的技術(shù)應(yīng)用于其（bing）搜索引擎之上。而微軟當(dāng)時甚至答應(yīng)Powerset員工繼續(xù)向Hadoop貢獻(xiàn)源代碼，Powerset也由此建立了Hadoop的姊妹項目——HBase，模擬Google的BigTable數(shù)據(jù)庫。

與MapReduce不同的是，Dryad是針對運行Windows HPC Server的集群計算設(shè)計的，而非Linux——這恐怕是Dryad容易被人所詬病的一點。由于Hadoop是基于Java編寫的，因此這些程序恐怕并不太適合跑在微軟的Windows平臺或者.NET之上；另外，微軟是在2005年進(jìn)入到高性能計算市場的，目前而言，這個市場是被Linux所占領(lǐng)的。而目前Apache的Hadoop環(huán)境是只支持Linux的，Windows還在不斷開發(fā)中。

不僅如此，微軟還在近日發(fā)布了其圖數(shù)據(jù)庫系統(tǒng)Trinity。Trinity是一個基于內(nèi)存的數(shù)據(jù)存儲與運算系統(tǒng)，目前在微軟為Probase和AEther這兩個產(chǎn)品服務(wù)。

專有工具、開源工具你選誰？

海量數(shù)據(jù)正在不斷生成，對于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的融合，成了所有人的心病，憑心而論，在Google公開其Megastore之前，類似象金融、電信這樣的客戶，很少敢于將自己的數(shù)據(jù)系統(tǒng)做全面的遷移，而這對于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)廠商來說，無疑是給了一個喘息的機會。

短期來講，開源分析將越來越廣泛的使用，并且增長迅速。長期來看，混合技術(shù)的應(yīng)用將在高度競爭的市場上出現(xiàn)，兩者將同樣有巨大的需求。

提供了處理大數(shù)據(jù)分析能力的專有軟件包括AsterData；IBM的專有軟件Netezza、Datameer, 建立在Apache的Hadoop上的專有軟件以及Paraccel。

此外，Oracle 的Exadata以及EMC的Greenplum也是處理大數(shù)據(jù)量的專有工具。EMC引入了Greenplum數(shù)據(jù)庫的免費社區(qū)版本，該社區(qū)版本只是軟件。Greenplum社區(qū)報表包括3個協(xié)作模塊Greenplum DB, MADlib, 和Alpine Miner。

處理大數(shù)據(jù)量的開源工具包括Hadoop、Map/Reduce，以及Jaspersoft 的BI工具。

Jaspersoft提供的BI工具，提供了報告、分析、ETLETL (解壓、轉(zhuǎn)換、加載) ，針對大量的并行分析數(shù)據(jù)庫，包括EMC Greenplum和HP Vertica。Jaspersoft也提供本地報告，通過Hadoop和各種類型的NoSQL數(shù)據(jù)庫包括MongoDB, Riak, CouchDB and Infinispan的開源連接。

當(dāng)前文章：【成都網(wǎng)站建設(shè)】海量數(shù)據(jù)戰(zhàn)爭——誰能贏得未來？
鏈接URL：http://jinyejixie.com/news/182730.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、網(wǎng)站建設(shè)、網(wǎng)站營銷、定制開發(fā)、微信小程序、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)