大數(shù)據(jù)擁抱

2數(shù)據(jù)如何升華為智慧

數(shù)據(jù)的處理分幾個(gè)步驟，完成了才最后會(huì)有智慧。

第一個(gè)步驟叫數(shù)據(jù)的收集。首先得有數(shù)據(jù)，數(shù)據(jù)的收集有兩個(gè)方式：

第一個(gè)方式是拿，專業(yè)點(diǎn)的說法叫抓取或者爬取。例如搜索引擎就是這么做的：它把網(wǎng)上的所有的信息都下載到它的數(shù)據(jù)中心，然后你一搜才能搜出來。比如你去搜索的時(shí)候，結(jié)果會(huì)是一個(gè)列表，這個(gè)列表為什么會(huì)在搜索引擎的公司里面?就是因?yàn)樗褦?shù)據(jù)都拿下來了，但是你一點(diǎn)鏈接，點(diǎn)出來這個(gè)網(wǎng)站就不在搜索引擎它們公司了。比如說新浪有個(gè)新聞，你拿百度搜出來，你不點(diǎn)的時(shí)候，那一頁(yè)在百度數(shù)據(jù)中心，一點(diǎn)出來的網(wǎng)頁(yè)就是在新浪的數(shù)據(jù)中心了。

第二個(gè)方式是推送，有很多終端可以幫我收集數(shù)據(jù)。比如說小米手環(huán)，可以將你每天跑步的數(shù)據(jù)，心跳的數(shù)據(jù)，睡眠的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。

第二個(gè)步驟是數(shù)據(jù)的傳輸。一般會(huì)通過隊(duì)列方式進(jìn)行，因?yàn)閿?shù)據(jù)量實(shí)在是太大了，數(shù)據(jù)必須經(jīng)過處理才會(huì)有用?？上到y(tǒng)處理不過來，只好排好隊(duì)，慢慢處理。

第三個(gè)步驟是數(shù)據(jù)的存儲(chǔ)。現(xiàn)在數(shù)據(jù)就是金錢，掌握了數(shù)據(jù)就相當(dāng)于掌握了錢。要不然網(wǎng)站怎么知道你想買什么?就是因?yàn)樗心銡v史的交易的數(shù)據(jù)，這個(gè)信息可不能給別人，十分寶貴，所以需要存儲(chǔ)下來。

第四個(gè)步驟是數(shù)據(jù)的處理和分析。上面存儲(chǔ)的數(shù)據(jù)是原始數(shù)據(jù)，原始數(shù)據(jù)多是雜亂無(wú)章的，有很多垃圾數(shù)據(jù)在里面，因而需要清洗和過濾，得到一些高質(zhì)量的數(shù)據(jù)。對(duì)于高質(zhì)量的數(shù)據(jù)，就可以進(jìn)行分析，從而對(duì)數(shù)據(jù)進(jìn)行分類，或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系，得到知識(shí)。

比如盛傳的沃爾瑪超市的啤酒和尿布的故事，就是通過對(duì)人們的購(gòu)買數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)了男人一般買尿布的時(shí)候，會(huì)同時(shí)購(gòu)買啤酒，這樣就發(fā)現(xiàn)了啤酒和尿布之間的相互關(guān)系，獲得知識(shí)，然后應(yīng)用到實(shí)踐中，將啤酒和尿布的柜臺(tái)弄的很近，就獲得了智慧。

第五個(gè)步驟是對(duì)于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，所謂外事不決問Google，內(nèi)事不決問百度。內(nèi)外兩大搜索引擎都是將分析后的數(shù)據(jù)放入搜索引擎，因此人們想尋找信息的時(shí)候，一搜就有了。

另外就是挖掘，僅僅搜索出來已經(jīng)不能滿足人們的要求了，還需要從信息中挖掘出相互的關(guān)系。比如財(cái)經(jīng)搜索，當(dāng)搜索某個(gè)公司股票的時(shí)候，該公司的高管是不是也應(yīng)該被挖掘出來呢?如果僅僅搜索出這個(gè)公司的股票發(fā)現(xiàn)漲的特別好，于是你就去買了，其實(shí)其高管發(fā)了一個(gè)聲明，對(duì)股票十分不利，第二天就跌了，這不坑害廣大股民么?所以通過各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識(shí)庫(kù)，十分重要。

3大數(shù)據(jù)時(shí)代，眾人拾柴火焰高

當(dāng)數(shù)據(jù)量很小時(shí)，很少的幾臺(tái)機(jī)器就能解決。慢慢的，當(dāng)數(shù)據(jù)量越來越大，最牛的服務(wù)器都解決不了問題時(shí)，怎么辦呢?這時(shí)就要聚合多臺(tái)機(jī)器的力量，大家齊心協(xié)力一起把這個(gè)事搞定，眾人拾柴火焰高。

對(duì)于數(shù)據(jù)的收集：就IoT來講，外面部署這成千上萬(wàn)的檢測(cè)設(shè)備，將大量的溫度、濕度、監(jiān)控、電力等數(shù)據(jù)統(tǒng)統(tǒng)收集上來;就互聯(lián)網(wǎng)網(wǎng)頁(yè)的搜索引擎來講，需要將整個(gè)互聯(lián)網(wǎng)所有的網(wǎng)頁(yè)都下載下來。這顯然一臺(tái)機(jī)器做不到，需要多臺(tái)機(jī)器組成網(wǎng)絡(luò)爬蟲系統(tǒng)，每臺(tái)機(jī)器下載一部分，同時(shí)工作，才能在有限的時(shí)間內(nèi)，將海量的網(wǎng)頁(yè)下載完畢。

對(duì)于數(shù)據(jù)的傳輸：一個(gè)內(nèi)存里面的隊(duì)列肯定會(huì)被大量的數(shù)據(jù)擠爆掉，于是就產(chǎn)生了基于硬盤的分布式隊(duì)列，這樣隊(duì)列可以多臺(tái)機(jī)器同時(shí)傳輸，隨你數(shù)據(jù)量多大，只要我的隊(duì)列足夠多，管道足夠粗，就能夠撐得住。

對(duì)于數(shù)據(jù)的存儲(chǔ)：一臺(tái)機(jī)器的文件系統(tǒng)肯定是放不下的，所以需要一個(gè)很大的分布式文件系統(tǒng)來做這件事情，把多臺(tái)機(jī)器的硬盤打成一塊大的文件系統(tǒng)。

對(duì)于數(shù)據(jù)的分析：可能需要對(duì)大量的數(shù)據(jù)做分解、統(tǒng)計(jì)、匯總，一臺(tái)機(jī)器肯定搞不定，處理到猴年馬月也分析不完。于是就有分布式計(jì)算的方法，將大量的數(shù)據(jù)分成小份，每臺(tái)機(jī)器處理一小份，多臺(tái)機(jī)器并行處理，很快就能算完。例如著名的Terasort對(duì)1個(gè)TB的數(shù)據(jù)排序，相當(dāng)于1000G，如果單機(jī)處理，怎么也要幾個(gè)小時(shí)，但并行處理209秒就完成了。

所以說什么叫做大數(shù)據(jù)?說白了就是一臺(tái)機(jī)器干不完，大家一起干。可是隨著數(shù)據(jù)量越來越大，很多不大的公司都需要處理相當(dāng)多的數(shù)據(jù)，這些小公司沒有這么多機(jī)器可怎么辦呢?

4大數(shù)據(jù)需要云計(jì)算，云計(jì)算需要大數(shù)據(jù)

說到這里，大家想起云計(jì)算了吧。當(dāng)想要干這些活時(shí)，需要很多的機(jī)器一塊做，真的是想什么時(shí)候要就什么時(shí)候要，想要多少就要多少。

例如大數(shù)據(jù)分析公司的財(cái)務(wù)情況，可能一周分析一次，如果要把這一百臺(tái)機(jī)器或者一千臺(tái)機(jī)器都在那放著，一周用一次非常浪費(fèi)。那能不能需要計(jì)算的時(shí)候，把這一千臺(tái)機(jī)器拿出來;不算的時(shí)候，讓這一千臺(tái)機(jī)器去干別的事情?

誰(shuí)能做這個(gè)事兒呢?只有云計(jì)算，可以為大數(shù)據(jù)的運(yùn)算提供資源層的靈活性。而云計(jì)算也會(huì)部署大數(shù)據(jù)放到它的PaaS平臺(tái)上，作為一個(gè)非常非常重要的通用應(yīng)用。因?yàn)榇髷?shù)據(jù)平臺(tái)能夠使得多臺(tái)機(jī)器一起干一個(gè)事兒，這個(gè)東西不是一般人能開發(fā)出來的，也不是一般人玩得轉(zhuǎn)的，怎么也得雇個(gè)幾十上百號(hào)人才能把這個(gè)玩起來。

所以說就像數(shù)據(jù)庫(kù)一樣，其實(shí)還是需要有一幫專業(yè)的人來玩這個(gè)東西。現(xiàn)在公有云上基本上都會(huì)有大數(shù)據(jù)的解決方案了，一個(gè)小公司需要大數(shù)據(jù)平臺(tái)的時(shí)候，不需要采購(gòu)一千臺(tái)機(jī)器，只要到公有云上一點(diǎn)，這一千臺(tái)機(jī)器都出來了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺(tái)，只要把數(shù)據(jù)放進(jìn)去算就可以了。

云計(jì)算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計(jì)算，二者就這樣結(jié)合了。

人工智能擁抱大數(shù)據(jù)

1機(jī)器什么時(shí)候才能懂人心

雖說有了大數(shù)據(jù)，人的欲望卻不能夠滿足。雖說在大數(shù)據(jù)平臺(tái)里面有搜索引擎這個(gè)東西，想要什么東西一搜就出來了。但也存在這樣的情況：我想要的東西不會(huì)搜，表達(dá)不出來，搜索出來的又不是我想要的。

例如音樂軟件推薦了一首歌，這首歌我沒聽過，當(dāng)然不知道名字，也沒法搜。但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當(dāng)人們使用這種應(yīng)用時(shí)，會(huì)發(fā)現(xiàn)機(jī)器知道我想要什么，而不是說當(dāng)我想要時(shí)，去機(jī)器里面搜索。這個(gè)機(jī)器真像我的朋友一樣懂我，這就有點(diǎn)人工智能的意思了。

人們很早就在想這個(gè)事情了。最早的時(shí)候，人們想象，要是有一堵墻，墻后面是個(gè)機(jī)器，我給它說話，它就給我回應(yīng)。如果我感覺不出它那邊是人還是機(jī)器，那它就真的是一個(gè)人工智能的東西了。

2讓機(jī)器學(xué)會(huì)推理

怎么才能做到這一點(diǎn)呢?人們就想：我首先要告訴計(jì)算機(jī)人類的推理的能力。你看人重要的是什么?人和動(dòng)物的區(qū)別在什么?就是能推理。要是把我這個(gè)推理的能力告訴機(jī)器，讓機(jī)器根據(jù)你的提問，推理出相應(yīng)的回答，這樣多好?

其實(shí)目前人們慢慢地讓機(jī)器能夠做到一些推理了，例如證明數(shù)學(xué)公式。這是一個(gè)非常讓人驚喜的一個(gè)過程，機(jī)器竟然能夠證明數(shù)學(xué)公式。但慢慢又發(fā)現(xiàn)其實(shí)這個(gè)結(jié)果也沒有那么令人驚喜。因?yàn)榇蠹野l(fā)現(xiàn)了一個(gè)問題：數(shù)學(xué)公式非常嚴(yán)謹(jǐn)，推理過程也非常嚴(yán)謹(jǐn)，而且數(shù)學(xué)公式很容易拿機(jī)器來進(jìn)行表達(dá)，程序也相對(duì)容易表達(dá)。

3教給機(jī)器知識(shí)

因此，僅僅告訴機(jī)器嚴(yán)格的推理是不夠的，還要告訴機(jī)器一些知識(shí)。但告訴機(jī)器知識(shí)這個(gè)事情，一般人可能就做不來了?？赡軐＜铱梢?，比如語(yǔ)言領(lǐng)域的專家或者財(cái)經(jīng)領(lǐng)域的專家。

語(yǔ)言領(lǐng)域和財(cái)經(jīng)領(lǐng)域知識(shí)能不能表示成像數(shù)學(xué)公式一樣稍微嚴(yán)格點(diǎn)呢?例如語(yǔ)言專家可能會(huì)總結(jié)出主謂賓定狀補(bǔ)這些語(yǔ)法規(guī)則，主語(yǔ)后面一定是謂語(yǔ)，謂語(yǔ)后面一定是賓語(yǔ)，將這些總結(jié)出來，并嚴(yán)格表達(dá)出來不就行了嗎?后來發(fā)現(xiàn)這個(gè)不行，太難總結(jié)了，語(yǔ)言表達(dá)千變?nèi)f化。

人工智能這個(gè)階段叫做專家系統(tǒng)。專家系統(tǒng)不易成功，一方面是知識(shí)比較難總結(jié)，另一方面總結(jié)出來的知識(shí)難以交給計(jì)算機(jī)。因?yàn)槟阕约哼€迷迷糊糊，覺得似乎有規(guī)律，就是說不出來，又怎么能夠通過編程教給計(jì)算機(jī)呢?

文章標(biāo)題：大數(shù)據(jù)和人工智能的超全解析
網(wǎng)站網(wǎng)址：http://jinyejixie.com/news35/104135.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站維護(hù)、定制開發(fā)、網(wǎng)站導(dǎo)航、ChatGPT、移動(dòng)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)