在寫這篇大數(shù)據(jù)文章之前，我發(fā)現(xiàn)身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹，如果你問他大數(shù)據(jù)是什么，什么是大數(shù)據(jù)概念?估計很少能說出一二三來。究其原因，一是因為大家對大數(shù)據(jù)這類新技術有著相同的原始渴求，至少知其然在聊天時不會顯得很“土鱉”;二是在工作和生活環(huán)境中真正能參與實踐大數(shù)據(jù)的案例實在太少了，所以大家沒有必要花時間去知其所以然。

我希望有些不一樣，所以對該如何去認識大數(shù)據(jù)進行了一番思索，包括查閱了資料，翻閱了最新的專業(yè)書籍，但我并不想把那些零散的資料碎片或不同理解論述簡單規(guī)整并堆積起來形成毫無價值的轉(zhuǎn)述或評論，我很真誠的希望進入事物探尋本質(zhì)。

如果你說大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個V，也許很有深度的談到BI或預測的價值，又或者拿Google和Amazon舉例，技術流可能會聊起hadoop和Cloud Computing，不管對錯，只是無法勾勒對大數(shù)據(jù)的整體認識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。……也許，“解構”是最好的方法。

怎樣結構大數(shù)據(jù)?

首先，我認為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分?，在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

其次，想要系統(tǒng)的認知大數(shù)據(jù)，必須要全面而細致的分解它，我著手從三個層面來展開：

實踐

第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性;從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在;從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢;從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術，技術是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。

和大數(shù)據(jù)概念相關的理論

特征定義

最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。”

業(yè)界(IBM 最早定義)將大數(shù)據(jù)的特征歸納為4個“V”(量Volume，多樣Variety，價值Value，速Velocity)，或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質(zhì)的不同。

其實這些V并不能真正說清楚大數(shù)據(jù)的所有特征，下面這張圖對大數(shù)據(jù)的一些相關特性做出了有效的說明。

古語云：三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰說的，但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了百般例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預測某地流感爆發(fā)的趨勢;Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進行有針對性的書籍購買推薦，以此有效提升銷售量;Farecast如何利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預測用戶購買機票的時機是否合適。

那么，什么是大數(shù)據(jù)思維?維克托·邁爾-舍恩伯格認為，1-需要全部數(shù)據(jù)樣本而不是抽樣;2-關注效率而不是精確度;3-關注相關性而不是因果關系。

阿里巴巴的王堅對于大數(shù)據(jù)也有一些獨特的見解，比如，

“今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點。”

“非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值。”

“你千萬不要想著拿數(shù)據(jù)去改進一個業(yè)務，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情。”

特別是最后一點，我是非常認同的，大數(shù)據(jù)的真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過的空白。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。

價值探討

大數(shù)據(jù)是什么?投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機構評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。

如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數(shù)據(jù)來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產(chǎn)品優(yōu)惠卷。

Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯(lián)物并監(jiān)控它，就可以預測未來。Target通過監(jiān)測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數(shù)據(jù)的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數(shù)據(jù)，就可以分析出當前哪些道路正在堵車，并可以及時發(fā)布道路交通提醒;通過采集汽車的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣給廣告投放商。

不管大數(shù)據(jù)的核心價值是不是預測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。

從大數(shù)據(jù)的價值鏈條來分析，存在三種模式：

1- 手握大數(shù)據(jù)，但是沒有利用好;比較典型的是金融機構，電信行業(yè)，政府機構等。

2- 沒有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它;比較典型的是IT咨詢和服務企業(yè)，比如，埃森哲，IBM，Oracle等。

3- 既有數(shù)據(jù)，又有大數(shù)據(jù)思維;比較典型的是Google，Amazon，Mastercard等。

未來在大數(shù)據(jù)領域最具有價值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉(zhuǎn)化為實際利益;2-還未有被大數(shù)據(jù)觸及過的業(yè)務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

Wal-Mart作為零售行業(yè)的巨頭，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發(fā)現(xiàn)雖不相關但很有價值的數(shù)據(jù)，在美國的颶風來臨季節(jié)，超市的蛋撻和抵御颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風物品銷售區(qū)域旁邊，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多。

還有一個有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進行例常的“每日軍情匯報”，由值班參謀讀出下屬各個縱隊、師、團用電臺報告的當日戰(zhàn)況和繳獲情況。那幾乎是重復著千篇一律枯燥無味的數(shù)據(jù)：每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少，槍支、物資多少……有一天，參謀照例匯報當日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個戰(zhàn)斗的繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰(zhàn)斗每天都有幾十起，不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰(zhàn)役的勝利。

這些例子真實的反映在各行各業(yè)，探求數(shù)據(jù)價值取決于把握數(shù)據(jù)的人，關鍵是人的數(shù)據(jù)思維;與其說是大數(shù)據(jù)創(chuàng)造了價值，不如說是大數(shù)據(jù)思維觸發(fā)了新的價值增長。

現(xiàn)在和未來

我們先看看大數(shù)據(jù)在當下有怎樣的杰出表現(xiàn)：

大數(shù)據(jù)幫助政府實現(xiàn)市場經(jīng)濟調(diào)控、公共衛(wèi)生安全防范、災難預警、社會輿論監(jiān)督;

大數(shù)據(jù)幫助城市預防犯罪，實現(xiàn)智慧交通，提升緊急應急能力;

大數(shù)據(jù)幫助醫(yī)療機構建立患者的疾病風險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構為患者提供定制的藥物;

大數(shù)據(jù)幫助航空公司節(jié)省運營成本，幫助電信企業(yè)實現(xiàn)售后服務質(zhì)量提升，幫助保險企業(yè)識別欺詐騙保行為，幫助快遞公司監(jiān)測分析運輸車輛的故障險情以提前預警維修，幫助電力公司有效識別預警即將發(fā)生故障的設備;

大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格;

大數(shù)據(jù)幫助企業(yè)提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業(yè)提升廣告投放精準度;

大數(shù)據(jù)幫助娛樂行業(yè)預測歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本;

大數(shù)據(jù)幫助社交網(wǎng)站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。

其實，這些還遠遠不夠，未來大數(shù)據(jù)的身影應該無處不在，就算無法準確預測大數(shù)據(jù)終會將人類社會帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒地球的每一個角落。

比如，Amazon的最終期望是：“最成功的書籍推薦應該只有一本書，就是用戶要買的下一本書。”

Google也希望當用戶在搜索時，最好的體驗是搜索結果只包含用戶所需要的內(nèi)容，而這并不需要用戶給予Google太多的提示。

而當物聯(lián)網(wǎng)發(fā)展到達一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標識產(chǎn)品，傳感器、可穿戴設備、智能感知、視頻采集、增強現(xiàn)實等技術可實現(xiàn)實時的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來源和服務范圍。

未來的大數(shù)據(jù)除了將更好的解決社會問題，商業(yè)營銷問題，科學技術問題，還有一個可預見的趨勢是以人為本的大數(shù)據(jù)方針。人才是地球的主宰，大部分的數(shù)據(jù)都與人類有關，要通過大數(shù)據(jù)解決人的問題。

比如，建立個人的數(shù)據(jù)中心，將每個人的日常生活習慣，身體體征，社會網(wǎng)絡，知識能力，愛好性情，疾病嗜好，情緒波動……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲存下來，這些數(shù)據(jù)可以被充分的利用：

醫(yī)療機構將實時的監(jiān)測用戶的身體健康狀況;

教育機構更有針對的制定用戶喜歡的教育培訓計劃;

服務行業(yè)為用戶提供即時健康的符合用戶生活習慣的食物和其它服務;

社交網(wǎng)絡能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動;

政府能在用戶的心理健康出現(xiàn)問題時有效的干預，防范自殺，刑事案件的發(fā)生;

金融機構能幫助用戶進行有效的理財管理，為用戶的資金提供更有效的使用建議和規(guī)劃;

道路交通、汽車租賃及運輸行業(yè)可以為用戶提供更合適的出行線路和路途服務安排;

……

當然，上面的一切看起來都很美好，但是否是以犧牲了用戶的自由為前提呢?只能說當新鮮事物帶來了革新的同時也同樣帶來了“病菌”。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習慣了和手機共渡時光，人與人之間情感交流仿佛永遠隔著一張“網(wǎng)”。

大數(shù)據(jù)隱私

你或許并不敏感，當你在不同的網(wǎng)站上注冊了個人信息后，可能這些信息已經(jīng)被擴散出去了，當你莫名其妙的接到各種郵件，電話，短信的滋擾時，你不會想到自己的電話號碼，郵箱，生日，購買記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機構非法存儲或賤賣給其它任何有需要的企業(yè)或個人了。

更可怕的是，這些信息你永遠無法刪除，它們永遠存在于互聯(lián)網(wǎng)的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價太大了。

用戶隱私問題一直是大數(shù)據(jù)應用難以繞開的一個問題，如被央視曝光過的分眾無線、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶隱私。目前，中國并沒有專門的法律法規(guī)來界定用戶隱私，處理相關問題時多采用其他相關法規(guī)條例來解釋。但隨著民眾隱私意識的日益增強，合法合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應用數(shù)據(jù)，是進行大數(shù)據(jù)分析時必須遵循的原則。

說到隱私被侵犯，愛德華?斯諾登應該占據(jù)一席之地，這位前美國中央情報局(CIA)雇員一手引爆了美國“棱鏡計劃”(PRISM)的內(nèi)幕消息。“棱鏡”項目是一項由美國國家安全局(NSA)自2007年起開始實施的絕密電子監(jiān)聽計劃，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄，據(jù)稱還可以使情報人員通過“后門”進入9家主要科技公司的服務器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。這個事件引發(fā)了人們對政府使用大數(shù)據(jù)時對公民隱私侵犯的擔心。

再看看我們身邊，當微博，微信，QQ空間這些社交平臺肆意的吞噬著數(shù)億用戶的各種信息時，你就不要指望你還有隱私權了，就算你在某個地方刪除了，但也許這些信息已經(jīng)被其他人轉(zhuǎn)載或保存了，更有可能已經(jīng)被百度或Google存為快照，早就提供給任意用戶搜索了。

因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無底線的數(shù)字化，這種大數(shù)據(jù)和個體之間的博弈還會一直繼續(xù)下去……

專家給予了我們一些如何有效保護大數(shù)據(jù)背景下隱私權的建議：1-減少信息的數(shù)字化;2-隱私權立法;3-數(shù)字隱私權基礎設施(類似DRM數(shù)字版權管理);4-人類改變認知(接受忽略過去);5-創(chuàng)造良性的信息生態(tài);6-語境化。

但是這些都很難立即見效或者有實質(zhì)性的改善。

比如，現(xiàn)在有一種職業(yè)叫刪帖人，專門負責幫人到各大網(wǎng)站刪帖，刪除評論。其實這些人就是通過黑客技術侵入各大網(wǎng)站，破獲管理員的密碼然后進行手工定向刪除。只不過他們保護的不是客戶的隱私，而大多是丑聞。還有一種職業(yè)叫人肉專家，他們負責從互聯(lián)網(wǎng)上找到一個與他們根本就無關系用戶的任意信息。這是很可怕的事情，也就是說，如果有人想找到你，只需要兩個條件：1-你上過網(wǎng)，留下過痕跡;2-你的親朋好友或僅僅是認識你的人上過網(wǎng)，留下過你的痕跡。這兩個條件滿足其一，人肉專家就可以很輕松的找到你，可能還知道你現(xiàn)在正在某個餐廳和誰一起共進晚餐。

當很多互聯(lián)網(wǎng)企業(yè)意識到隱私對于用戶的重要性時，為了繼續(xù)得到用戶的信任，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月，瀏覽器廠商提供了無痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲進入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。

在這種復雜的環(huán)境里面，很多人依然沒有建立對于信息隱私的保護意識，讓自己一直處于被滋擾，被精心設計，被利用，被監(jiān)視的處境中。可是，我們能做的幾乎微乎其微，因為個人隱私數(shù)據(jù)已經(jīng)無法由我們自己掌控了，就像一首詩里說到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”

和大數(shù)據(jù)相關的技術

云技術

大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數(shù)據(jù)則是電。

云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。

如今，在Google、Amazon、阿里云、景安等一批互聯(lián)網(wǎng)企業(yè)引領下，一種行之有效的模式出現(xiàn)了：云計算提供基礎架構平臺，大數(shù)據(jù)應用運行在這個平臺上。

業(yè)內(nèi)是這么形容兩者的關系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地;沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那么大數(shù)據(jù)到底需要哪些云計算技術呢?

這里暫且列舉一些，比如虛擬化技術，分布式處理技術，海量數(shù)據(jù)的存儲和管理技術，NoSQL、實時流數(shù)據(jù)處理、智能分析技術(類似模式識別以及自然語言理解)等。

云計算和大數(shù)據(jù)之間的關系可以用下面的一張圖來說明，兩者之間結合后會產(chǎn)生如下效應：可以提供更多基于海量業(yè)務數(shù)據(jù)的創(chuàng)新型服務;通過云計算技術的不斷發(fā)展降低大數(shù)據(jù)業(yè)務的創(chuàng)新成本。

如果將云計算與大數(shù)據(jù)進行一些比較，最明顯的區(qū)分在兩個方面：

第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務。然而大數(shù)據(jù)必須有云作為基礎架構，才能得以順暢運營。

第二，大數(shù)據(jù)和云計算的目標受眾不同，云計算是CIO等關心的技術層，是一個進階的IT解決方案。而大數(shù)據(jù)是CEO關注的、是業(yè)務層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務層。

分布式處理技術

分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務—這就是分布式處理系統(tǒng)的定義。

以Hadoop(Yahoo)為例進行說明，Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。

而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運算技術，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題(例如程序)拆解成map(映射)和reduce(化簡)的方式， 在數(shù)據(jù)被分割后通過Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機機群處理達到分布式運算的效果，在通過Reduce 函數(shù)的程序?qū)⒔Y果匯整，從而輸出開發(fā)者需要的結果。

再來看看Hadoop的特性，第一，它是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。其次，Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務器，因此它的成本比較低，任何人都可以使用。

你也可以這么理解Hadoop的構成，Hadoop=HDFS(文件系統(tǒng)，數(shù)據(jù)存儲技術相關)+HBase(數(shù)據(jù)庫)+MapReduce(數(shù)據(jù)處理)+……Others

Hadoop用到的一些技術有：

HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) - HDFS (HadoopDistributed File System)

MapReduce：并行計算框架

HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。

Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻。

Zookeeper：分布式鎖設施，提供類似Google Chubby的功能，由Facebook貢獻。

Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機制。

Pig:大數(shù)據(jù)分析平臺，為用戶提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。

Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞。

說了這么多，舉個實際的例子，雖然這個例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術架構還是有助于我們理解對于大數(shù)據(jù)的運作處理機制:

淘寶大數(shù)據(jù)

如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術架構分為五個層次，從上至下來看它們分別是：數(shù)據(jù)源，計算層，存儲層，查詢層和產(chǎn)品層。

數(shù)據(jù)來源層。存放著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過DataX，DbSync和Timetunel準實時的傳輸?shù)较旅娴?點所述的“云梯”。

計算層。在這個計算層內(nèi)，淘寶采用的是Hadoop集群，這個集群，我們暫且稱之為云梯，是計算層的主要組成部分。在云梯上，系統(tǒng)每天會對數(shù)據(jù)產(chǎn)品進行不同的MapReduce計算。

存儲層。在這一層，淘寶采用了兩個東西，一個使MyFox，一個是Prom。MyFox是基于MySQL的分布式關系型數(shù)據(jù)庫的集群，Prom是基于Hadoop Hbase技術的一個NoSQL的存儲集群。

查詢層。在這一層中，Glider是以HTTP協(xié)議對外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過一個唯一的URL來獲取到它想要的數(shù)據(jù)。同時，數(shù)據(jù)查詢即是通過MyFox來查詢的。

最后一層是產(chǎn)品層，這個就不用解釋了。

存儲技術

大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計算機技術領域：大數(shù)據(jù)存儲致力于研發(fā)可以擴展至PB甚至EB級別的數(shù)據(jù)存儲平臺;大數(shù)據(jù)分析關注在最短時間內(nèi)處理大量不同類型的數(shù)據(jù)集。

提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復雜性就增加一倍。所以，存儲器的成本大約每18-24個月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲性。

比如，Google大約管理著超過50萬臺服務器和100萬塊硬盤，而且Google還在不斷的擴大計算能力和存儲能力，其中很多的擴展都是基于在廉價服務器和普通存儲硬盤的基礎上進行的，這大大降低了其服務成本，因此可以將更多的資金投入到技術的研發(fā)當中。

以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲服務。該服務旨在讓開發(fā)人員能更輕松的進行網(wǎng)絡規(guī)模計算。Amazon S3 提供一個簡明的 Web 服務界面，用戶可通過它隨時在 Web 上的任何位置存儲和檢索的任意大小的數(shù)據(jù)。 此服務讓所有開發(fā)人員都能訪問同一個具備高擴展性、可靠性、安全性和快速價廉的基礎設施，Amazon 用它來運行其全球的網(wǎng)站網(wǎng)絡。再看看S3的設計指標：在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能夠承受兩個設施中的數(shù)據(jù)同時丟失。

S3很成功也確實卓有成效，S3云的存儲對象已達到萬億級別，而且性能表現(xiàn)相當良好。S3云已經(jīng)擁萬億跨地域存儲對象，同時AWS的對象執(zhí)行請求也達到百萬的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬計的企業(yè)在通過AWS運行自己的全部或者部分日常業(yè)務。這些企業(yè)用戶遍布190多個國家，幾乎世界上的每個角落都有Amazon用戶的身影。

此外，云創(chuàng)大數(shù)據(jù)的cStor云存儲系統(tǒng)采用了先進的云計算技術、網(wǎng)絡通信技術以及分布式文件系統(tǒng)技術，將硬件存儲節(jié)點組織管理起來，以提供高性能、高可靠的存儲?；诖?，cStor A8000云存儲系統(tǒng)一體機集中供電、集中散熱，每個機架大可搭載總存儲容量高達3.8PB，但整體功耗卻比傳統(tǒng)方式節(jié)省10倍，全面展現(xiàn)了新一代高密度云存儲產(chǎn)品的高容量、高性能以及節(jié)能環(huán)保的綠色魅力，已經(jīng)廣泛用于電信、平安城市等多個領域的海量數(shù)據(jù)存儲與處理。

感知技術

大數(shù)據(jù)的采集和感知技術的發(fā)展是緊密聯(lián)系的。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)的變化，都會產(chǎn)生海量的數(shù)據(jù)信息。

而隨著智能手機的普及，感知技術可謂迎來了發(fā)展的高峰期，除了地理位置信息被廣泛的應用外，一些新的感知手段也開始登上舞臺，比如，最新的”iPhone 5S”在home鍵內(nèi)嵌指紋傳感器，新型手機可通過呼氣直接檢測燃燒脂肪量，用于手機的嗅覺傳感器面世可以監(jiān)測從空氣污染到危險的化學藥品，微軟正在研發(fā)可感知用戶當前心情智能手機技術，谷歌眼鏡InSight新技術可通過衣著進行人物識別。

除此之外，還有很多與感知相關的技術革新讓我們耳目一新：比如，牙齒傳感器實時監(jiān)控口腔活動及飲食狀況，嬰兒穿戴設備可用大數(shù)據(jù)去養(yǎng)育寶寶，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開發(fā)新型可監(jiān)控用戶心率的紡織材料，業(yè)界正在嘗試將生物測定技術引入支付領域等。

其實，這些感知被逐漸捕獲的過程就是就世界被數(shù)據(jù)化的過程，一旦世界被完全數(shù)據(jù)化了，那么世界的本質(zhì)也就是信息了。

就像一句名言所說，“人類以前延續(xù)的是文明，現(xiàn)在傳承的是信息。”

大數(shù)據(jù)的實踐

互聯(lián)網(wǎng)的大數(shù)據(jù)

互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長50%，每兩年便將翻一番，而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。據(jù)IDC預測，到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量。互聯(lián)網(wǎng)是大數(shù)據(jù)發(fā)展的前哨陣地，隨著WEB2.0時代的發(fā)展，人們似乎都習慣了將自己的生活通過網(wǎng)絡進行數(shù)據(jù)化，方便分享以及記錄并回憶。

互聯(lián)網(wǎng)上的大數(shù)據(jù)很難清晰的界定分類界限，我們先看看BAT的大數(shù)據(jù)：

百度擁有兩種類型的大數(shù)據(jù)：用戶搜索表征的需求數(shù)據(jù);爬蟲和阿拉丁獲取的公共web數(shù)據(jù)。搜索巨頭百度圍繞數(shù)據(jù)而生。它對網(wǎng)頁數(shù)據(jù)的爬取、網(wǎng)頁內(nèi)容的組織和解析，通過語義分析對搜索需求的精準理解進而從海量數(shù)據(jù)中找準結果，以及精準的搜索引擎關鍵字廣告，實質(zhì)上就是一個數(shù)據(jù)的獲取、組織、分析和挖掘的過程。搜索引擎在大數(shù)據(jù)時代面臨的挑戰(zhàn)有：更多的暗網(wǎng)數(shù)據(jù);更多的WEB化但是沒有結構化的數(shù)據(jù);更多的WEB化、結構化但是封閉的數(shù)據(jù)。

阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù)。這兩種數(shù)據(jù)更容易變現(xiàn)，挖掘出商業(yè)價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數(shù)據(jù)、移動數(shù)據(jù)。如微博和高德。

騰訊擁有用戶關系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù)。這些數(shù)據(jù)可以分析人們的生活和行為,從里面挖掘出政治、社會、文化、商業(yè)、健康等領域的信息，甚至預測未來。

在信息技術更為發(fā)達的美國，除了行業(yè)知名的類似Google，F(xiàn)acebook外，已經(jīng)涌現(xiàn)了很多大數(shù)據(jù)類型的公司，它們專門經(jīng)營數(shù)據(jù)產(chǎn)品，比如：

Metamarkets：這家公司對Twitter、支付、簽到和一些與互聯(lián)網(wǎng)相關的問題進行了分析，為客戶提供了很好的數(shù)據(jù)分析支持。

Tableau：他們的精力主要集中于將海量數(shù)據(jù)以可視化的方式展現(xiàn)出來。Tableau為數(shù)字媒體提供了一個新的展示數(shù)據(jù)的方式。他們提供了一個免費工具，任何人在沒有編程知識背景的情況下都能制造出數(shù)據(jù)專用圖表。這個軟件還能對數(shù)據(jù)進行分析，并提供有價值的建議。

ParAccel：他們向美國執(zhí)法機構提供了數(shù)據(jù)分析，比如對15000個有犯罪前科的人進行跟蹤，從而向執(zhí)法機構提供了參考性較高的犯罪預測。他們是犯罪的預言者。

QlikTech：QlikTech旗下的Qlikview是一個商業(yè)智能領域的自主服務工具，能夠應用于科學研究和藝術等領域。為了幫助開發(fā)者對這些數(shù)據(jù)進行分析，QlikTech提供了對原始數(shù)據(jù)進行可視化處理等功能的工具。

GoodData：GoodData希望幫助客戶從數(shù)據(jù)中挖掘財富。這家創(chuàng)業(yè)公司主要面向商業(yè)用戶和IT企業(yè)高管，提供數(shù)據(jù)存儲、性能報告、數(shù)據(jù)分析等工具。

TellApart：TellApart和電商公司進行合作，他們會根據(jù)用戶的瀏覽行為等數(shù)據(jù)進行分析，通過鎖定潛在買家方式提高電商企業(yè)的收入。

DataSift：DataSift主要收集并分析社交網(wǎng)絡媒體上的數(shù)據(jù)，并幫助品牌公司掌握突發(fā)新聞的輿論點，并制定有針對性的營銷方案。這家公司還和Twitter有合作協(xié)議，使得自己變成了行業(yè)中為數(shù)不多可以分析早期tweet的創(chuàng)業(yè)公司。

Datahero：公司的目標是將復雜的數(shù)據(jù)變得更加簡單明了，方便普通人去理解和想象。

舉了很多例子，這里簡要歸納一下，在互聯(lián)網(wǎng)大數(shù)據(jù)的典型代表性包括：

1-用戶行為數(shù)據(jù)(精準廣告投放、內(nèi)容推薦、行為習慣和喜好分析、產(chǎn)品優(yōu)化等)

2-用戶消費數(shù)據(jù)(精準營銷、信用記錄分析、活動促銷、理財?shù)?

3-用戶地理位置數(shù)據(jù)(O2O推廣，商家推薦，交友推薦等)

4-互聯(lián)網(wǎng)金融數(shù)據(jù)(P2P，小額貸款，支付，信用，供應鏈金融等)

5-用戶社交等UGC數(shù)據(jù)(趨勢分析、流行元素分析、受歡迎程度分析、輿論監(jiān)控分析、社會問題分析等)

同時，提供數(shù)據(jù)托管服務的大數(shù)據(jù)平臺也應運而生，比如萬物云與環(huán)境云。其中，作為智能硬件大數(shù)據(jù)免費托管平臺，萬物云可無限承載海量的物聯(lián)網(wǎng)和智能設備數(shù)據(jù)。通過使用多種協(xié)議，各種智能設備將安全地向萬物云提交產(chǎn)生的設備數(shù)據(jù)，在服務平臺上進行存儲和處理，并通過數(shù)據(jù)應用編程接口向各種物聯(lián)網(wǎng)應用提供可靠的跨平臺的數(shù)據(jù)查詢和調(diào)用服務。萬物云在大幅度降低物聯(lián)網(wǎng)數(shù)據(jù)應用的技術門檻及運營成本的同時，也滿足了物聯(lián)網(wǎng)產(chǎn)品原型開發(fā)、商業(yè)運營和規(guī)模發(fā)展各階段需求。目前，萬物云的注冊用戶達到1605，入庫數(shù)據(jù)超過55億條。

環(huán)境云則是一個全面而便捷的綜合環(huán)境大數(shù)據(jù)開放平臺，收錄權威數(shù)據(jù)源(中央氣象臺、國家環(huán)保部數(shù)據(jù)中心、美國全球地震信息中心等)所發(fā)布的各類環(huán)境數(shù)據(jù)，接收云創(chuàng)自主布建的全國各類環(huán)境監(jiān)控傳感器網(wǎng)絡(包括空氣質(zhì)量指標，土壤環(huán)境質(zhì)量指標檢測網(wǎng)絡)所采集的數(shù)據(jù)，并結合相關數(shù)據(jù)預測模型生成的預報數(shù)據(jù)，依托數(shù)據(jù)托管服務平臺萬物云所提供的數(shù)據(jù)存儲服務，推出了一系列功能豐富、便捷易用的綜合環(huán)境數(shù)據(jù)REST API，配合詳盡的接口使用幫助，為環(huán)境應用開發(fā)者提供豐富可靠的氣象、環(huán)境、災害以及地理數(shù)據(jù)服務。此外，環(huán)境云還為環(huán)境研究人員提供了自定義數(shù)據(jù)報表生成和下載功能，并向公眾展示環(huán)境實況。目前，環(huán)境云的入庫數(shù)據(jù)已經(jīng)超過6億條。

政府的大數(shù)據(jù)

近期，奧巴馬政府宣布投資2億美元拉動大數(shù)據(jù)相關產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。奧巴馬政府將數(shù)據(jù)定義為“未來的新石油”，并表示一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數(shù)據(jù)的占有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產(chǎn)。

在國內(nèi)，政府各個部門都握有構成社會基礎的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水數(shù)據(jù)，道路交通數(shù)據(jù)，客運數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個政府部門里面看起來是單一的，靜態(tài)的。但是，如果政府可以將這些數(shù)據(jù)關聯(lián)起來，并對這些數(shù)據(jù)進行有效的關聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價值是無法估量的。

具體來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說大數(shù)據(jù)是智慧的核心能源。從國內(nèi)整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數(shù)超過180個，通信網(wǎng)絡和數(shù)據(jù)平臺等基礎設施建設投資規(guī)模接近5000億元。“十二五”期間智慧城市建設拉動的設備投資規(guī)模將達1萬億元人民幣。大數(shù)據(jù)為智慧城市的各個領域提供決策支持。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供決策，強化城市管理服務的科學性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應突發(fā)狀況，為城市交通的良性運轉(zhuǎn)提供科學的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網(wǎng)絡突發(fā)的公共事件，打擊違法犯罪。在安防與防災領域，通過大數(shù)據(jù)的挖掘，可以及時發(fā)現(xiàn)人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。

另外，作為國家的管理者，政府應該有勇氣將手中的數(shù)據(jù)逐步開放，供給更多有能力的機構組織或個人來分析并加以利用，以加速造福人類。比如，美國政府就籌建了一個data.gov網(wǎng)站，這是奧巴馬任期內(nèi)的一個重要舉措：要求政府公開透明，而核心就是實現(xiàn)政府機構的數(shù)據(jù)公開。截止目前，已經(jīng)開放了有91054 個datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

企業(yè)的大數(shù)據(jù)

企業(yè)的CXO們最關注的還是報表曲線的背后能有怎樣的信息，他該做怎樣的決策，其實這一切都需要通過數(shù)據(jù)來傳遞和支撐。在理想的世界中，大數(shù)據(jù)是巨大的杠桿，可以改變公司的影響力，帶來競爭差異、節(jié)省金錢、增加利潤、愉悅買家、獎賞忠誠用戶、將潛在客戶轉(zhuǎn)化為客戶、增加吸引力、打敗競爭對手、開拓用戶群并創(chuàng)造市場。

那么，哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務呢?拋磚引玉，先舉幾個例子：1) 對大量消費者提供產(chǎn)品或服務的企業(yè)(精準營銷);2) 做小而美模式的中長尾企業(yè)(服務轉(zhuǎn)型);3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)(生死存亡)。

對于企業(yè)的大數(shù)據(jù)，還有一種預測：隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應鏈模式發(fā)展，最終形成“數(shù)據(jù)供應鏈”。這里尤其有兩個明顯的現(xiàn)象：1) 外部數(shù)據(jù)的重要性日益超過內(nèi)部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時代，單一企業(yè)的內(nèi)部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟;2) 能提供包括數(shù)據(jù)供應、數(shù)據(jù)整合與加工、數(shù)據(jù)應用等多環(huán)節(jié)服務的公司會有明顯的綜合競爭優(yōu)勢。

對于提供大數(shù)據(jù)服務的企業(yè)來說，他們等待的是合作機會，就像微軟史密斯說的：“給我提供一些數(shù)據(jù)，我就能做一些改變。如果給我提供所有數(shù)據(jù)，我就能拯救世界。”

然而，一直做企業(yè)服務的巨頭將優(yōu)勢不在，不得不眼看新興互聯(lián)網(wǎng)企業(yè)加入戰(zhàn)局，開啟殘酷競爭模式。為何會出現(xiàn)這種局面?從 IT 產(chǎn)業(yè)的發(fā)展來看，第一代 IT 巨頭大多是 ToB 的，比如 IBM、Microsoft、Oracle、SAP、HP這類傳統(tǒng) IT 企業(yè);第二代 IT 巨頭大多是ToC 的，比如 Yahoo、Google、Amazon、Facebook 這類互聯(lián)網(wǎng)企業(yè)。大數(shù)據(jù)到來前，這兩類公司彼此之間基本是井水不犯河水;但在當前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。比如 Amazon 已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務，直接搶占 IBM、Oracle 的市場。這個現(xiàn)象出現(xiàn)的本質(zhì)原因是：在互聯(lián)網(wǎng)巨頭的帶動下，傳統(tǒng) IT 巨頭的客戶普遍開始從事電子商務業(yè)務，正是由于客戶進入了互聯(lián)網(wǎng)，所以傳統(tǒng) IT 巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領域。如果他們不進入互聯(lián)網(wǎng)，他們業(yè)務必將萎縮。在進入互聯(lián)網(wǎng)后，他們又必須將云技術，大數(shù)據(jù)等互聯(lián)網(wǎng)最具有優(yōu)勢的技術通過封裝打造成自己的產(chǎn)品再提供給企業(yè)。

以IBM舉例，上一個十年，他們拋棄了PC，成功轉(zhuǎn)向了軟件和服務，而這次將遠離服務與咨詢，更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務增長點。IBM執(zhí)行總裁羅睿蘭認為，“數(shù)據(jù)將成為一切行業(yè)當中決定勝負的根本因素，最終數(shù)據(jù)將成為人類至關重要的自然資源。”IBM積極的提出了“大數(shù)據(jù)平臺”架構。該平臺的四大核心能力包括Hadoop系統(tǒng)、流計算(StreamComputing)、數(shù)據(jù)倉庫(Data Warehouse)和信息整合與治理(Information Integration and Governance)

IBM大數(shù)據(jù)

另外一家亟待通過云和大數(shù)據(jù)戰(zhàn)略而復蘇的巨頭公司HP也推出了自己的產(chǎn)品：HAVEn，一個可以自由擴展伸縮的大數(shù)據(jù)解決方案。這個解決方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普運營管理(HP OperationsManagement)四大技術組成。還支持Hadoop這樣通用的技術。HAVEn不是一個軟件平臺，而是一個生態(tài)環(huán)境。四大組成部分滿足不同的應用場景需要，Autonomy解決音視頻識別的重要解決方案;Vertica解決數(shù)據(jù)處理的速度和效率的方案;ArcSight解決機器的記錄信息處理，幫助企業(yè)獲得更高安全級別的管理;運營管理解決的不僅僅是外部數(shù)據(jù)的處理，而是包括了IT基礎設施產(chǎn)生的數(shù)據(jù)。

個人的大數(shù)據(jù)

個人的大數(shù)據(jù)這個概念很少有人提及，簡單來說，就是與個人相關聯(lián)的各種有價值數(shù)據(jù)信息被有效采集后，可由本人授權提供第三方進行處理和使用，并獲得第三方提供的數(shù)據(jù)服務。

舉個例子來說明會更清晰一些：

未來，每個用戶可以在互聯(lián)網(wǎng)上注冊個人的數(shù)據(jù)中心，以存儲個人的大數(shù)據(jù)信息。用戶可確定哪些個人數(shù)據(jù)可被采集，并通過可穿戴設備或植入芯片等感知技術來采集捕獲個人的大數(shù)據(jù)，比如，牙齒監(jiān)控數(shù)據(jù)，心率數(shù)據(jù)，體溫數(shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會關系數(shù)據(jù)，運動數(shù)據(jù)，飲食數(shù)據(jù)，購物數(shù)據(jù)等等。用戶可以將其中的牙齒監(jiān)測數(shù)據(jù)授權給XX牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進而為用戶制定有效的牙齒防治和維護計劃;也可以將個人的運動數(shù)據(jù)授權提供給某運動健身機構，由他們監(jiān)測自己的身體運動機能，并有針對的制定和調(diào)整個人的運動計劃;還可以將個人的消費數(shù)據(jù)授權給金融理財機構，由他們幫你制定合理的理財計劃并對收益進行預測。當然，其中有一部分個人數(shù)據(jù)是無需個人授權即可提供給國家相關部門進行實時監(jiān)控的，比如罪案預防監(jiān)控中心可以實時的監(jiān)控本地區(qū)每個人的情緒和心理狀態(tài)，以預防自殺和犯罪的發(fā)生。

以個人為中心的大數(shù)據(jù)有這么一些特性：

1- 數(shù)據(jù)僅留存在個人中心，其它第三方機構只被授權使用(數(shù)據(jù)有一定的使用期限)，且必須接受用后即焚的監(jiān)管。

2- 采集個人數(shù)據(jù)應該明確分類，除了國家立法明確要求接受監(jiān)控的數(shù)據(jù)外，其它類型數(shù)據(jù)都由用戶自己決定是否被采集。

3- 數(shù)據(jù)的使用將只能由用戶進行授權，數(shù)據(jù)中心可幫助監(jiān)控個人數(shù)據(jù)的整個生命周期。

展望過于美好，也許實現(xiàn)個人數(shù)據(jù)中心將遙遙無期，也許這還不是解決個人數(shù)據(jù)隱私的最好方法，也許業(yè)界對大數(shù)據(jù)的無限渴求會阻止數(shù)據(jù)個人中心的實現(xiàn)，但是隨著數(shù)據(jù)越來越多，在缺乏監(jiān)管之后，必然會有一場激烈的博弈：到底是數(shù)據(jù)重要還是隱私重要;是以商業(yè)為中心還是以個人為中心。

本文題目：什么是大數(shù)據(jù)？什么是大數(shù)據(jù)概念？
文章來源：http://jinyejixie.com/news/204350.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、App設計、定制網(wǎng)站、標簽優(yōu)化、網(wǎng)站維護、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)