數(shù)據(jù)怎么樣才能對人有用?人們整天都在討論大數(shù)據(jù)，其實數(shù)據(jù)本身并不是有用的，必須要經(jīng)過一定的處理。數(shù)據(jù)本身并沒有什么作用，但是數(shù)據(jù)里面包含一些很重要的東西，叫做信息(Information)，數(shù)據(jù)雜亂無章，只有經(jīng)過了梳理和清洗，才能夠稱為信息。

1. 數(shù)據(jù)如何升華為智慧

數(shù)據(jù)的處理分五個步驟，全部完成了才最后才會升華智慧。

第一：數(shù)據(jù)的收集。首先得有數(shù)據(jù)，數(shù)據(jù)的收集有兩個方式，第一個方式是拿(Pull)，專業(yè)點的叫爬取或者抓取，常見的搜索引擎就是這么干的，它把網(wǎng)上的信息都下載到它的數(shù)據(jù)中心，然后被你搜索出來。 比如你去搜索的時候，返回的是一個列表，這個列表為什么會在搜索引擎的公司里面呢，就是因為他把這個數(shù)據(jù)都爬下來了，但是你一點鏈接，點出來這個網(wǎng)站就不在搜索引擎它們公司了。比如說搜狐有個新聞，你拿百度搜出來，你不點的時候，那一頁在百度數(shù)據(jù)中心，一點出來的網(wǎng)頁就跳轉(zhuǎn)到搜狐的數(shù)據(jù)中心了。另外一個方式就是推送，有很多終端可以幫我收集數(shù)據(jù)，比如說智能手環(huán)，可以將你每天跑步的數(shù)據(jù)，血壓的數(shù)據(jù)，心跳的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。

第二：數(shù)據(jù)的傳輸。常見的會通過隊列方式進(jìn)行，數(shù)據(jù)量實在是太大了，數(shù)據(jù)必須經(jīng)過處理才會有用，但是系統(tǒng)處理不過來，只好排排隊，一條條地處理。

第三：數(shù)據(jù)的存儲。現(xiàn)在數(shù)據(jù)就是Money，掌握了數(shù)據(jù)就相當(dāng)于掌握了金錢。要不然你看購物網(wǎng)站怎么知道你想買什么呢?就是因為它有你歷史的交易信息，然后通過這個信息分析出你的購物習(xí)慣。

第四：數(shù)據(jù)的處理和分析。上面存儲的數(shù)據(jù)是原始數(shù)據(jù)，原始數(shù)據(jù)多是雜亂的，還有很多垃圾數(shù)據(jù)，因而需要清洗和過濾。對于整理過的數(shù)據(jù)，就可以進(jìn)行分析，從而對數(shù)據(jù)進(jìn)行歸類，或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系。比如著名的啤酒和紙尿布的故事，就是通過對人們的購買數(shù)據(jù)進(jìn)行比對分析，發(fā)現(xiàn)了男人在買尿布的時候，會同時想要購買啤酒，這樣就發(fā)現(xiàn)了啤酒和尿布之間的對應(yīng)關(guān)系，掌握了規(guī)律，然后應(yīng)用到實踐中，將啤酒和尿布的柜臺放到一起，這就是一種智慧。

第五：對于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，俗話說外事不決問谷歌，內(nèi)事不決問百度。兩大搜索引擎都是將分析歸納后的數(shù)據(jù)放入搜索引擎，從而方便人們找到想要的信息。還有一個就是挖掘，搜索出來的信息還需要從中挖掘出相互的關(guān)系。例如財經(jīng)檢索，當(dāng)搜索某個公司股票的時候，該公司的管理層是不是也應(yīng)該被挖掘出來?如果僅僅搜索出這個公司的股票漲的特別好，你就去買了，結(jié)果第二天就跌了，這不坑人么?所以通過各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識數(shù)據(jù)庫，十分重要

2. 大數(shù)據(jù)擁抱云計算

數(shù)據(jù)分析是一項很有意思的技術(shù)，其功能就是幫我們梳理數(shù)據(jù)，存儲信息，并從信息中總結(jié)規(guī)律。當(dāng)數(shù)據(jù)量很小的時候，幾臺機器就能分析并解決問題。但是，慢慢的當(dāng)數(shù)據(jù)量越來越大，大到最強的超級計算機都解決不了問題的時候，該怎么辦呢?這時就要聚合多臺機器的力量，也就是使用云計算的力量。

對于數(shù)據(jù)的收集，以物聯(lián)網(wǎng)為例，外面部署這成千上億的檢測設(shè)備，將大量的溫度，濕度，PH值，PM2.5等等數(shù)據(jù)統(tǒng)統(tǒng)收集上來，對于網(wǎng)頁的搜索引擎來講，需要將整個互聯(lián)網(wǎng)所有的網(wǎng)頁都下載下來，這顯然一臺服務(wù)器做不到，需要多臺服務(wù)器組成分布式系統(tǒng)，每臺機器下載一部分，同時工作，才能在有限的時間內(nèi)，將海量的網(wǎng)頁下載完畢。

對于數(shù)據(jù)的傳輸，一個內(nèi)存里面的隊列肯定會被大量的數(shù)據(jù)擠爆，于是就產(chǎn)生了基于存儲系統(tǒng)的分布式隊列，這樣的隊列可以多臺服務(wù)器同時傳輸，隨你數(shù)據(jù)量多大，只要我的隊伍足夠多，隊列足夠粗，就能夠撐得住。

對于數(shù)據(jù)的存儲也是一樣，一臺服務(wù)器的文件系統(tǒng)肯定是放不下了，那我們就做一個很大的分布式文件系統(tǒng)來做這件事情，把多臺機器的硬盤打成一塊大的文件系統(tǒng)。

再比如數(shù)據(jù)的分析，可能需要對大量的數(shù)據(jù)做分類，統(tǒng)計，聚合，一臺服務(wù)器肯定搞不定，處理幾百年也分析不完，于是就有了分布式計算的方法，將大量的數(shù)據(jù)分成小份，每臺服務(wù)器處理一小份，多臺服務(wù)器并行處理，很快就能算完。例如著名的Terasort對1個TB的數(shù)據(jù)排序，相當(dāng)于1024G，如果單機處理，怎么也要幾個小時，但是并行處理只需要幾十秒就完成了。

所以說大數(shù)據(jù)平臺，什么叫做大數(shù)據(jù)，說白了就是一臺機器干不完，大家一起干。隨著數(shù)據(jù)量越來越大，很多公司都需要處理相當(dāng)多的數(shù)據(jù)，沒有這么多機器可怎么辦呢?

說到這里，就想起云計算的好處了吧，真的是想什么時候要，就什么時候要，想要多少就要多少。例如大數(shù)據(jù)分析企業(yè)的財務(wù)情況，可能一個月分析一次，如果要把這一百臺服務(wù)器或者一千臺服務(wù)器都在那擺著，一個月用一次吧，非常浪費。那能不能需要計算的時候，把這一千臺服務(wù)器拿出來用，然后不用的時候，這一千臺機器可以去干別的事情。誰能做這個事兒呢?只有云計算服務(wù)商(比如文中提到的易邁云)，能夠為大數(shù)據(jù)的運算提供資源層面的靈活性。而云計算服務(wù)商也會部署大數(shù)據(jù)放到它的PaaS平臺上，作為一個非常重要的通用應(yīng)用。因為大數(shù)據(jù)平臺能夠使得多臺機器一起干一個事兒，這個東西不是一般人或團(tuán)隊能開發(fā)出來的，怎么也得雇個幾十上百號專業(yè)人才能把這個玩起來，所以說就像數(shù)據(jù)庫一樣，其實還是需要有一幫專業(yè)的人來玩這個東西。

現(xiàn)在公有云服務(wù)商(像易邁云)就提出了相應(yīng)的大數(shù)據(jù)解決方案了，一個小公司需要大數(shù)據(jù)平臺的時候，不需要采購一千臺云主機，只要到易邁云的官網(wǎng)上一點，這一千臺機器都出來了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺，只要把數(shù)據(jù)放進(jìn)去算就可以了。所以說，云計算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計算，兩個技術(shù)就這樣結(jié)合了。

分享名稱：大數(shù)據(jù)擁抱云計算
路徑分享：http://jinyejixie.com/news/104829.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、靜態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計、虛擬主機、做網(wǎng)站、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)