HIVE數(shù)據(jù)抽樣

hive 提供數(shù)據(jù)抽樣功能，根據(jù)一定的規(guī)則進行數(shù)據(jù)抽樣，目前支持三種抽樣：

水磨溝網(wǎng)站建設公司成都創(chuàng)新互聯(lián)公司,水磨溝網(wǎng)站設計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為水磨溝上千提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設要多少錢，請找那個售后服務好的水磨溝做網(wǎng)站的公司定做！

1、數(shù)據(jù)塊抽樣 tablesample()函數(shù)（hive0.8版本及以上支持）

tablesample(n percent) : 按照hive表的數(shù)據(jù)量比例抽樣數(shù)據(jù)

select * from table_name tablesample(0.1 percent) s

tablesample(n M) ：指定抽樣數(shù)據(jù)的大小，單位為M

tablesample(n rows)：指定抽樣數(shù)據(jù)的行數(shù)，n表示每個map task均取n行數(shù)據(jù)

2、分桶抽樣?

hive分桶是根據(jù)分桶字段做hash取模，放入指定的數(shù)據(jù)的桶中，比如表a的字段id分成10個桶，那hash(id)%10=0的數(shù)據(jù)放在第一個桶，hash(id)%10=1的數(shù)據(jù)放在第二個桶中

語法：tablesample(bucket x out of y [on colname]) :x 是要抽樣的桶編號，桶編號從1開始，colname表示要抽樣的列，y表示桶的數(shù)量，例如：

select * from tb tablesample(bucket 1 out of 10 on rand())? -- 表隨機分成10桶，抽取第一個桶的數(shù)據(jù)做為樣本

hive中分桶其實就是根據(jù)某一個字段Hash取模，放入指定數(shù)據(jù)的桶中，比如將表table_1按照ID分成100個桶，其算法是hash(id) % 100，這樣，hash(id) % 100 = 0的數(shù)據(jù)被放到第一個桶中，hash(id) % 100 = 1的記錄被放到第二個桶中。創(chuàng)建分桶表的關鍵語句為：CLUSTER BY語句。

3、隨機抽樣 rand()函數(shù)

使用rand()函數(shù)進行隨機抽樣，limit限制抽樣返回的數(shù)據(jù)

比如：一百萬的行數(shù)據(jù)中，有10萬客戶，隨機抽取1%的客戶作為樣本

select * from tb where cust_no is not null distribute by rand() sort by rand() limit 10000;

select * from tb where cust_no is not null order by rand() limit 10000;

select * from?

( select *,cast(rand()*10000 as bigint) as rownum from tb where cust_no is not null ) t?

order by rownum ?limit 10000;

互聯(lián)網(wǎng)大數(shù)據(jù)現(xiàn)關心的是什么？

樓主您好：

首先，我認為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

其次，想要系統(tǒng)的認知大數(shù)據(jù)，必須要全面而細致的分解它，我著手從三個層面來展開：

第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術，技術是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。

和大數(shù)據(jù)相關的理論

? 特征定義

最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?/p>

業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。

其實這些V并不能真正說清楚大數(shù)據(jù)的所有特征，下面這張圖對大數(shù)據(jù)的一些相關特性做出了有效的說明。

36大數(shù)據(jù)

古語云：三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰說的，但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了百般例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預測某地流感爆發(fā)的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast如何利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預測用戶購買機票的時機是否合適。

那么，什么是大數(shù)據(jù)思維？維克托·邁爾-舍恩伯格認為，1-需要全部數(shù)據(jù)樣本而不是抽樣；2-關注效率而不是精確度；3-關注相關性而不是因果關系。

阿里巴巴的王堅對于大數(shù)據(jù)也有一些獨特的見解，比如，

“今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點。”

“非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值?！?/p>

“你千萬不要想著拿數(shù)據(jù)去改進一個業(yè)務，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情?！?/p>

特別是最后一點，我是非常認同的，大數(shù)據(jù)的真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過的空白。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。

? 價值探討

大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機構評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。

如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

Target 超市以20多種懷孕期間孕婦可能會購買的商品為基礎，將所有用戶的購買記錄作為數(shù)據(jù)來源，通過構建模型分析購買者的行為相關性，能準確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應的產(chǎn)品優(yōu)惠卷。

Target的例子是一個很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯(lián)物并監(jiān)控它，就可以預測未來。Target通過監(jiān)測購買者購買商品的時間和品種來準確預測顧客的孕期，這就是對數(shù)據(jù)的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數(shù)據(jù)，就可以分析出當前哪些道路正在堵車，并可以及時發(fā)布道路交通提醒；通過采集汽車的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣給廣告投放商。

不管大數(shù)據(jù)的核心價值是不是預測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。

從大數(shù)據(jù)的價值鏈條來分析，存在三種模式：

1- 手握大數(shù)據(jù)，但是沒有利用好；比較典型的是金融機構，電信行業(yè)，政府機構等。

2- 沒有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢和服務企業(yè)，比如，埃森哲，IBM，Oracle等。

3- 既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。

未來在大數(shù)據(jù)領域最具有價值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉化為實際利益；2-還未有被大數(shù)據(jù)觸及過的業(yè)務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。

Wal-Mart作為零售行業(yè)的巨頭，他們的分析人員會對每個階段的銷售記錄進行了全面的分析，有一次他們無意中發(fā)現(xiàn)雖不相關但很有價值的數(shù)據(jù)，在美國的颶風來臨季節(jié)，超市的蛋撻和抵御颶風物品竟然銷量都有大幅增加，于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風物品銷售區(qū)域旁邊，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多。

還有一個有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進行例常的“每日軍情匯報”，由值班參謀讀出下屬各個縱隊、師、團用電臺報告的當日戰(zhàn)況和繳獲情況。那幾乎是重復著千篇一律枯燥無味的數(shù)據(jù)：每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少，槍支、物資多少……有一天，參謀照例匯報當日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個戰(zhàn)斗的繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰(zhàn)斗每天都有幾十起，不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周，見無人回答，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰(zhàn)役的勝利。

這些例子真實的反映在各行各業(yè)，探求數(shù)據(jù)價值取決于把握數(shù)據(jù)的人，關鍵是人的數(shù)據(jù)思維；與其說是大數(shù)據(jù)創(chuàng)造了價值，不如說是大數(shù)據(jù)思維觸發(fā)了新的價值增長。

? 現(xiàn)在和未來

我們先看看大數(shù)據(jù)在當下有怎樣的杰出表現(xiàn)：

大數(shù)據(jù)幫助政府實現(xiàn)市場經(jīng)濟調控、公共衛(wèi)生安全防范、災難預警、社會輿論監(jiān)督；

大數(shù)據(jù)幫助城市預防犯罪，實現(xiàn)智慧交通，提升緊急應急能力；

大數(shù)據(jù)幫助醫(yī)療機構建立患者的疾病風險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構為患者提供定制的藥物；

大數(shù)據(jù)幫助航空公司節(jié)省運營成本，幫助電信企業(yè)實現(xiàn)售后服務質量提升，幫助保險企業(yè)識別欺詐騙保行為，幫助快遞公司監(jiān)測分析運輸車輛的故障險情以提前預警維修，幫助電力公司有效識別預警即將發(fā)生故障的設備；

大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格；

大數(shù)據(jù)幫助企業(yè)提升營銷的針對性，降低物流和庫存的成本，減少投資的風險，以及幫助企業(yè)提升廣告投放精準度；

大數(shù)據(jù)幫助娛樂行業(yè)預測歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本；

大數(shù)據(jù)幫助社交網(wǎng)站提供更準確的好友推薦，為用戶提供更精準的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。

其實，這些還遠遠不夠，未來大數(shù)據(jù)的身影應該無處不在，就算無法準確預測大數(shù)據(jù)終會將人類社會帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒地球的每一個角落。

比如，Amazon的最終期望是：“最成功的書籍推薦應該只有一本書，就是用戶要買的下一本書?！?/p>

Google也希望當用戶在搜索時，最好的體驗是搜索結果只包含用戶所需要的內(nèi)容，而這并不需要用戶給予Google太多的提示。

而當物聯(lián)網(wǎng)發(fā)展到達一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標識產(chǎn)品，傳感器、可穿戴設備、智能感知、視頻采集、增強現(xiàn)實等技術可實現(xiàn)實時的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來源和服務范圍。

未來的大數(shù)據(jù)除了將更好的解決社會問題，商業(yè)營銷問題，科學技術問題，還有一個可預見的趨勢是以人為本的大數(shù)據(jù)方針。人才是地球的主宰，大部分的數(shù)據(jù)都與人類有關，要通過大數(shù)據(jù)解決人的問題。

比如，建立個人的數(shù)據(jù)中心，將每個人的日常生活習慣，身體體征，社會網(wǎng)絡，知識能力，愛好性情，疾病嗜好，情緒波動……換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲存下來，這些數(shù)據(jù)可以被充分的利用：

醫(yī)療機構將實時的監(jiān)測用戶的身體健康狀況；

教育機構更有針對的制定用戶喜歡的教育培訓計劃；

服務行業(yè)為用戶提供即時健康的符合用戶生活習慣的食物和其它服務；

社交網(wǎng)絡能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動；

政府能在用戶的心理健康出現(xiàn)問題時有效的干預，防范自殺，刑事案件的發(fā)生；

金融機構能幫助用戶進行有效的理財管理，為用戶的資金提供更有效的使用建議和規(guī)劃；

道路交通、汽車租賃及運輸行業(yè)可以為用戶提供更合適的出行線路和路途服務安排；

……

當然，上面的一切看起來都很美好，但是否是以犧牲了用戶的自由為前提呢？只能說當新鮮事物帶來了革新的同時也同樣帶來了“病菌”。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習慣了和手機共渡時光，人與人之間情感交流仿佛永遠隔著一張“網(wǎng)”。

? 大數(shù)據(jù)隱私

你或許并不敏感，當你在不同的網(wǎng)站上注冊了個人信息后，可能這些信息已經(jīng)被擴散出去了，當你莫名其妙的接到各種郵件，電話，短信的滋擾時，你不會想到自己的電話號碼，郵箱，生日，購買記錄，收入水平，家庭住址，親朋好友等私人信息早就被各種商業(yè)機構非法存儲或賤賣給其它任何有需要的企業(yè)或個人了。

更可怕的是，這些信息你永遠無法刪除，它們永遠存在于互聯(lián)網(wǎng)的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價太大了。

用戶隱私問題一直是大數(shù)據(jù)應用難以繞開的一個問題，如被央視曝光過的分眾無線、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶隱私。目前，中國并沒有專門的法律法規(guī)來界定用戶隱私，處理相關問題時多采用其他相關法規(guī)條例來解釋。但隨著民眾隱私意識的日益增強，合法合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應用數(shù)據(jù)，是進行大數(shù)據(jù)分析時必須遵循的原則。

說到隱私被侵犯，愛德華?斯諾登應該占據(jù)一席之地，這位前美國中央情報局（CIA）雇員一手引爆了美國“棱鏡計劃”（PRISM）的內(nèi)幕消息?！袄忡R”項目是一項由美國國家安全局（NSA）自2007年起開始實施的絕密電子監(jiān)聽計劃，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄，據(jù)稱還可以使情報人員通過“后門”進入9家主要科技公司的服務器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。這個事件引發(fā)了人們對政府使用大數(shù)據(jù)時對公民隱私侵犯的擔心。

再看看我們身邊，當微博，微信，QQ空間這些社交平臺肆意的吞噬著數(shù)億用戶的各種信息時，你就不要指望你還有隱私權了，就算你在某個地方刪除了，但也許這些信息已經(jīng)被其他人轉載或保存了，更有可能已經(jīng)被百度或Google存為快照，早就提供給任意用戶搜索了。

因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無底線的數(shù)字化，這種大數(shù)據(jù)和個體之間的博弈還會一直繼續(xù)下去……

專家給予了我們一些如何有效保護大數(shù)據(jù)背景下隱私權的建議：1-減少信息的數(shù)字化；2-隱私權立法；3-數(shù)字隱私權基礎設施（類似DRM數(shù)字版權管理）；4-人類改變認知（接受忽略過去）；5-創(chuàng)造良性的信息生態(tài)；6-語境化。

但是這些都很難立即見效或者有實質性的改善。

比如，現(xiàn)在有一種職業(yè)叫刪帖人，專門負責幫人到各大網(wǎng)站刪帖，刪除評論。其實這些人就是通過黑客技術侵入各大網(wǎng)站，破獲管理員的密碼然后進行手工定向刪除。只不過他們保護的不是客戶的隱私，而大多是丑聞。還有一種職業(yè)叫人肉專家，他們負責從互聯(lián)網(wǎng)上找到一個與他們根本就無關系用戶的任意信息。這是很可怕的事情，也就是說，如果有人想找到你，只需要兩個條件：1-你上過網(wǎng)，留下過痕跡；2-你的親朋好友或僅僅是認識你的人上過網(wǎng)，留下過你的痕跡。這兩個條件滿足其一，人肉專家就可以很輕松的找到你，可能還知道你現(xiàn)在正在某個餐廳和誰一起共進晚餐。

當很多互聯(lián)網(wǎng)企業(yè)意識到隱私對于用戶的重要性時，為了繼續(xù)得到用戶的信任，他們采取了很多辦法，比如google承諾僅保留用戶的搜索記錄9個月，瀏覽器廠商提供了無痕沖浪模式，社交網(wǎng)站拒絕公共搜索引擎的爬蟲進入，并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。

在這種復雜的環(huán)境里面，很多人依然沒有建立對于信息隱私的保護意識，讓自己一直處于被滋擾，被精心設計，被利用，被監(jiān)視的處境中?？墒?，我們能做的幾乎微乎其微，因為個人隱私數(shù)據(jù)已經(jīng)無法由我們自己掌控了，就像一首詩里說到的：“如果你現(xiàn)在繼續(xù)麻木，那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”

和大數(shù)據(jù)相關的技術

? 云技術

大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數(shù)據(jù)則是電。

云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。

如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領下，一種行之有效的模式出現(xiàn)了：云計算提供基礎架構平臺，大數(shù)據(jù)應用運行在這個平臺上。

業(yè)內(nèi)是這么形容兩者的關系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那么大數(shù)據(jù)到底需要哪些云計算技術呢？

這里暫且列舉一些，比如虛擬化技術，分布式處理技術，海量數(shù)據(jù)的存儲和管理技術，NoSQL、實時流數(shù)據(jù)處理、智能分析技術（類似模式識別以及自然語言理解）等。

云計算和大數(shù)據(jù)之間的關系可以用下面的一張圖來說明，兩者之間結合后會產(chǎn)生如下效應：可以提供更多基于海量業(yè)務數(shù)據(jù)的創(chuàng)新型服務；通過云計算技術的不斷發(fā)展降低大數(shù)據(jù)業(yè)務的創(chuàng)新成本。

36大數(shù)據(jù)

如果將云計算與大數(shù)據(jù)進行一些比較，最明顯的區(qū)分在兩個方面：

第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務。然而大數(shù)據(jù)必須有云作為基礎架構，才能得以順暢運營。

第二，大數(shù)據(jù)和云計算的目標受眾不同，云計算是CIO等關心的技術層，是一個進階的IT解決方案。而大數(shù)據(jù)是CEO關注的、是業(yè)務層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務層。

詳情：

大數(shù)據(jù)處理的五大關鍵技術及其應用

作者 | 網(wǎng)絡大數(shù)據(jù)

來源 | 產(chǎn)業(yè)智能官

數(shù)據(jù)處理是對紛繁復雜的海量數(shù)據(jù)價值的提煉，而其中最有價值的地方在于預測性分析，即可以通過數(shù)據(jù)可視化、統(tǒng)計模式識別、數(shù)據(jù)描述等數(shù)據(jù)挖掘形式幫助數(shù)據(jù)科學家更好的理解數(shù)據(jù)，根據(jù)數(shù)據(jù)挖掘的結果得出預測性決策。其中主要工作環(huán)節(jié)包括：

大數(shù)據(jù)采集 大數(shù)據(jù)預處理 大數(shù)據(jù)存儲及管理 大數(shù)據(jù)分析及挖掘 大數(shù)據(jù)展現(xiàn)和應用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應用、大數(shù)據(jù)安全等)。

一、大數(shù)據(jù)采集技術

數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數(shù)據(jù)，是大數(shù)據(jù)知識服務模型的根本。重點要突破分布式高速高可靠數(shù)據(jù)爬取或采集、高速數(shù)據(jù)全映像等大數(shù)據(jù)收集技術;突破高速數(shù)據(jù)解析、轉換與裝載等大數(shù)據(jù)整合技術;設計質量評估模型，開發(fā)數(shù)據(jù)質量技術。

大數(shù)據(jù)采集一般分為：

大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)，實現(xiàn)對結構化、半結構化、非結構化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監(jiān)控、初步處理和管理等。必須著重攻克針對大數(shù)據(jù)源的智能識別、感知、適配、傳輸、接入等技術。

基礎支撐層：提供大數(shù)據(jù)服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡資源等基礎支撐環(huán)境。重點攻克分布式虛擬存儲技術，大數(shù)據(jù)獲取、存儲、組織、分析和決策操作的可視化接口技術，大數(shù)據(jù)的網(wǎng)絡傳輸與壓縮技術，大數(shù)據(jù)隱私保護技術等。

二、大數(shù)據(jù)預處理技術

完成對已接收數(shù)據(jù)的辨析、抽取、清洗等操作。

抽?。阂颢@取的數(shù)據(jù)可能具有多種結構和類型，數(shù)據(jù)抽取過程可以幫助我們將這些復雜的數(shù)據(jù)轉化為單一的或者便于處理的構型，以達到快速分析處理的目的。

清洗：對于大數(shù)據(jù)，并不全是有價值的，有些數(shù)據(jù)并不是我們所關心的內(nèi)容，而另一些數(shù)據(jù)則是完全錯誤的干擾項，因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。

三、大數(shù)據(jù)存儲及管理技術

大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應的數(shù)據(jù)庫，并進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數(shù)據(jù)管理與處理技術。主要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關鍵問題。開發(fā)可靠的分布式文件系統(tǒng)(DFS)、能效優(yōu)化的存儲、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術;突破分布式非關系型大數(shù)據(jù)管理與處理技術，異構數(shù)據(jù)的數(shù)據(jù)融合技術，數(shù)據(jù)組織技術，研究大數(shù)據(jù)建模技術;突破大數(shù)據(jù)索引技術;突破大數(shù)據(jù)移動、備份、復制等技術;開發(fā)大數(shù)據(jù)可視化技術。

開發(fā)新型數(shù)據(jù)庫技術，數(shù)據(jù)庫分為關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫以及數(shù)據(jù)庫緩存系統(tǒng)。其中，非關系型數(shù)據(jù)庫主要指的是NoSQL數(shù)據(jù)庫，分為：鍵值數(shù)據(jù)庫、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫等類型。關系型數(shù)據(jù)庫包含了傳統(tǒng)關系數(shù)據(jù)庫系統(tǒng)以及NewSQL數(shù)據(jù)庫。

開發(fā)大數(shù)據(jù)安全技術：改進數(shù)據(jù)銷毀、透明加解密、分布式訪問控制、數(shù)據(jù)審計等技術;突破隱私保護和推理控制、數(shù)據(jù)真?zhèn)巫R別和取證、數(shù)據(jù)持有完整性驗證等技術。

四、大數(shù)據(jù)分析及挖掘技術

大數(shù)據(jù)分析技術：改進已有數(shù)據(jù)挖掘和機器學習技術;開發(fā)數(shù)據(jù)網(wǎng)絡挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術;突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術;突破用戶興趣分析、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術。

數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數(shù)據(jù)挖掘涉及的技術方法很多，有多種分類法。根據(jù)挖掘任務可分為分類或預測模型發(fā)現(xiàn)、數(shù)據(jù)總結、聚類、關聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關系或依賴模型發(fā)現(xiàn)、異常和趨勢發(fā)現(xiàn)等等;根據(jù)挖掘對象可分為關系數(shù)據(jù)庫、面向對象數(shù)據(jù)庫、空間數(shù)據(jù)庫、時態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web;根據(jù)挖掘方法分，可粗分為:機器學習方法、統(tǒng)計方法、神經(jīng)網(wǎng)絡方法和數(shù)據(jù)庫方法。

機器學習中，可細分為歸納學習方法(決策樹、規(guī)則歸納等)、基于范例學習、遺傳算法等。統(tǒng)計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數(shù)判別等)、聚類分析(系統(tǒng)聚類、動態(tài)聚類等)、探索性分析(主元分析法、相關分析法等)等。神經(jīng)網(wǎng)絡方法中，可細分為:前向神經(jīng)網(wǎng)絡(BP算法等)、自組織神經(jīng)網(wǎng)絡(自組織特征映射、競爭學習等)等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向屬性的歸納方法。

數(shù)據(jù)挖掘主要過程是：根據(jù)分析挖掘目標，從數(shù)據(jù)庫中把數(shù)據(jù)提取出來，然后經(jīng)過ETL組織成適合分析挖掘算法使用寬表，然后利用數(shù)據(jù)挖掘軟件進行挖掘。傳統(tǒng)的數(shù)據(jù)挖掘軟件，一般只能支持在單機上進行小規(guī)模數(shù)據(jù)處理,受此限制傳統(tǒng)數(shù)據(jù)分析挖掘一般會采用抽樣方式來減少數(shù)據(jù)分析規(guī)模。

數(shù)據(jù)挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由于數(shù)據(jù)挖掘問題開放性，導致數(shù)據(jù)挖掘會涉及大量衍生變量計算，衍生變量多變導致數(shù)據(jù)預處理計算復雜性;二是很多數(shù)據(jù)挖掘算法本身就比較復雜，計算量就很大，特別是大量機器學習算法，都是迭代計算，需要通過多次迭代來求最優(yōu)解，例如K-means聚類算法、PageRank算法等。

從挖掘任務和挖掘方法的角度，著重突破：

可視化分析。數(shù)據(jù)可視化無論對于普通用戶或是數(shù)據(jù)分析專家，都是最基本的功能。數(shù)據(jù)圖像化可以讓數(shù)據(jù)自己說話，讓用戶直觀的感受到結果。 數(shù)據(jù)挖掘算法。圖像化是將機器語言翻譯給人看，而數(shù)據(jù)挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價值。這些算法一定要能夠應付大數(shù)據(jù)的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據(jù)圖像化分析和數(shù)據(jù)挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智能以足以從數(shù)據(jù)中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統(tǒng)等。 數(shù)據(jù)質量和數(shù)據(jù)管理。數(shù)據(jù)質量與管理是管理的最佳實踐，透過標準化流程和機器對數(shù)據(jù)進行處理可以確保獲得一個預設質量的分析結果。

預測分析成功的7個秘訣

預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現(xiàn)使得用戶能夠基于歷史數(shù)據(jù)和分析技術(如統(tǒng)計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。

盡管如此，與任何新興技術一樣，想要充分發(fā)揮預測分析的潛力也是很難的。而可能使挑戰(zhàn)變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內(nèi)才會顯現(xiàn)出來。

預測分析有可能徹底改變許多的行業(yè)和業(yè)務，包括零售、制造、供應鏈、網(wǎng)絡管理、金融服務和醫(yī)療保健。AI網(wǎng)絡技術公司Mist Systems的聯(lián)合創(chuàng)始人、首席技術官Bob fridy預測:“深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯(lián)網(wǎng)和蜂窩技術所帶來的轉變一樣?！薄?/p>

這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。

1.能夠訪問高質量、易于理解的數(shù)據(jù)

預測分析應用程序需要大量數(shù)據(jù)，并依賴于通過反饋循環(huán)提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數(shù)據(jù)和分析官Soumendra Mohanty評論道:“數(shù)據(jù)和預測分析之間是相互促進的關系?！?/p>

了解流入預測分析模型的數(shù)據(jù)類型非常重要?！耙粋€人身上會有什么樣的數(shù)據(jù)?” Eric Feigl - Ding問道，他是流行病學家、營養(yǎng)學家和健康經(jīng)濟學家，目前是哈佛陳氏公共衛(wèi)生學院的訪問科學家?！笆敲刻於荚贔acebook和谷歌上收集的實時數(shù)據(jù)，還是難以訪問的醫(yī)療記錄所需的醫(yī)療數(shù)據(jù)?”為了做出準確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數(shù)據(jù)。

簡單地將大量數(shù)據(jù)扔向計算資源的預測建模工作注定會失敗。“由于存在大量數(shù)據(jù)，而其中大部分數(shù)據(jù)可能與特定問題無關，只是在給定樣本中可能存在相關關系，”FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，F(xiàn)actSet是一家金融數(shù)據(jù)和軟件公司?！叭绻涣私猱a(chǎn)生數(shù)據(jù)的過程，一個在有偏見的數(shù)據(jù)上訓練的模型可能是完全錯誤的?！?/p>

2.找到合適的模式

SAP高級分析產(chǎn)品經(jīng)理Richard Mooney指出，每個人都癡迷于算法，但是算法必須和輸入到算法中的數(shù)據(jù)一樣好?！叭绻也坏竭m合的模式，那么他們就毫無用處，”他寫道。“大多數(shù)數(shù)據(jù)集都有其隱藏的模式?！?/p>

模式通常以兩種方式隱藏:

模式位于兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數(shù)據(jù)進行比較來發(fā)現(xiàn)一種模式。Mooney說:“如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀并審查合同?！?/p>

模式顯示了變量隨時間變化的關系?！耙陨厦娴睦訛槔?，了解客戶打開了200次電子郵件并不像知道他們在上周打開了175次那樣有用，”Mooney說。

3 .專注于可管理的任務，這些任務可能會帶來積極的投資回報

紐約理工學院的分析和商業(yè)智能主任Michael Urmeneta稱:“如今，人們很想把機器學習算法應用到海量數(shù)據(jù)上，以期獲得更深刻的見解?！彼f，這種方法的問題在于，它就像試圖一次治愈所有形式的癌癥一樣。Urmeneta解釋說:“這會導致問題太大，數(shù)據(jù)太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的?！?/p>

而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:“如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家” ?！斑@樣，我們就很可能會有更清晰或更好理解的數(shù)據(jù)來進行處理。”

4.使用正確的方法來完成工作

好消息是，幾乎有無數(shù)的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經(jīng)濟分析和決策實踐主任Angela Fontes說:“每天都有新的、熱門的分析方法出現(xiàn)，使用新方法很容易讓人興奮”?！叭欢?，根據(jù)我的經(jīng)驗，最成功的項目是那些真正深入思考分析結果并讓其指導他們選擇方法的項目——即使最合適的方法并不是最性感、最新的方法。”

羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:“用戶必須謹慎選擇適合他們需求的方法”。“必須擁有一種高效且可解釋的技術，一種可以利用序列數(shù)據(jù)、時間數(shù)據(jù)的統(tǒng)計特性，然后將其外推到最有可能的未來，”Yang說。

5.用精確定義的目標構建模型

這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。“有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現(xiàn)或提供價值，”汽車、保險和碰撞修復行業(yè)的SaaS提供商CCC信息服務公司的產(chǎn)品管理高級副總裁Jason Verlen評論道。

對此，F(xiàn)ontes也表示同意?！笆褂谜_的工具肯定會確保我們從分析中得到想要的結果……”因為這迫使我們必須對自己的目標非常清楚，”她解釋道?！叭绻覀儾磺宄治龅哪繕?，就永遠也不可能真正得到我們想要的東西?！?/p>

6.在IT和相關業(yè)務部門之間建立密切的合作關系

在業(yè)務和技術組織之間建立牢固的合作伙伴關系是至關重要的?？蛻趔w驗技術提供商Genesys的人工智能產(chǎn)品管理副總裁Paul lasserr說:“你應該能夠理解新技術如何應對業(yè)務挑戰(zhàn)或改善現(xiàn)有的業(yè)務環(huán)境。”然后，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。

7.不要被設計不良的模型誤導

模型是由人設計的，所以它們經(jīng)常包含著潛在的缺陷。錯誤的模型或使用不正確或不當?shù)臄?shù)據(jù)構建的模型很容易產(chǎn)生誤導，在極端情況下，甚至會產(chǎn)生完全錯誤的預測。

沒有實現(xiàn)適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出后續(xù)的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經(jīng)歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限數(shù)據(jù)庫中，實際的減肥結果可能會被隱藏起來。

六、大數(shù)據(jù)展現(xiàn)與應用技術

大數(shù)據(jù)技術能夠將隱藏于海量數(shù)據(jù)中的信息和知識挖掘出來，為人類的社會經(jīng)濟活動提供依據(jù)，從而提高各個領域的運行效率，大大提高整個社會經(jīng)濟的集約化程度。

在我國，大數(shù)據(jù)將重點應用于以下三大領域：商業(yè)智能 、政府決策、公共服務。例如：商業(yè)智能技術，政府決策技術，電信數(shù)據(jù)信息處理與挖掘技術，電網(wǎng)數(shù)據(jù)信息處理與挖掘技術，氣象信息分析技術，環(huán)境監(jiān)測技術，警務云應用系統(tǒng)(道路監(jiān)控、視頻監(jiān)控、網(wǎng)絡監(jiān)控、智能交通、反電信詐騙、指揮調度等公安信息系統(tǒng))，大規(guī)模基因序列分析比對技術，Web信息挖掘技術，多媒體數(shù)據(jù)并行化處理技術，影視制作渲染技術，其他各種行業(yè)的云計算和海量數(shù)據(jù)處理應用技術等。

外行人的大數(shù)據(jù)五問 帶你了解大數(shù)據(jù)

外行人的大數(shù)據(jù)五問 帶你了解大數(shù)據(jù)

大數(shù)據(jù)是什么？是一種運營模式，是一種能力，還是一種技術，或是一種數(shù)據(jù)集合的統(tǒng)稱？今天我們所說的“大數(shù)據(jù)”和過去傳統(tǒng)意義上的“數(shù)據(jù)”的區(qū)別又在哪里？大數(shù)據(jù)有什么特點？來源有哪些？又應用于哪些方面等等。接下來小編帶您一起了解大數(shù)據(jù)。

大數(shù)據(jù)概念

"大數(shù)據(jù)"是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進行抓取、管理和處理。 "大數(shù)據(jù)"首先是指數(shù)據(jù)體量(volumes)?大，指代大型數(shù)據(jù)集，一般在10TB?規(guī)模左右，但在實際應用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量；其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結構化數(shù)據(jù)范疇，囊括了半結構化和非結構化數(shù)據(jù)。接著是數(shù)據(jù)處理速度（Velocity）快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實時處理。最后一個特點是指數(shù)據(jù)真實性（Veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應用數(shù)據(jù)等新數(shù)據(jù)源的興趣，傳統(tǒng)數(shù)據(jù)源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。

百度知道—大數(shù)據(jù)概念

大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Veracity。

互聯(lián)網(wǎng)周刊—大數(shù)據(jù)概念

"大數(shù)據(jù)"的概念遠不止大量的數(shù)據(jù)（TB）和處理大量數(shù)據(jù)的技術，或者所謂的"4個V"之類的簡單概念，而是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎上可以做的事情，而這些事情在小規(guī)模數(shù)據(jù)的基礎上是無法實現(xiàn)的。換句話說，大數(shù)據(jù)讓我們以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產(chǎn)品和服務，或深刻的洞見，最終形成變革之力

研究機構Gartner—大數(shù)據(jù)概念

"大數(shù)據(jù)"是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，"大數(shù)據(jù)"指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。 亞馬遜網(wǎng)絡服務（AWS）、大數(shù)據(jù)科學家JohnRauser提到一個簡單的定義：大數(shù)據(jù)就是任何超過了一臺計算機處理能力的龐大數(shù)據(jù)量。 研發(fā)小組對大數(shù)據(jù)的定義："大數(shù)據(jù)是最大的宣傳技術、是最時髦的技術，當這種現(xiàn)象出現(xiàn)時，定義就變得很混亂。" Kelly說："大數(shù)據(jù)是可能不包含所有的信息，但我覺得大部分是正確的。對大數(shù)據(jù)的一部分認知在于，它是如此之大，分析它需要多個工作負載，這是AWS的定義。當你的技術達到極限時，也就是數(shù)據(jù)的極限"。 大數(shù)據(jù)不是關于如何定義，最重要的是如何使用。最大的挑戰(zhàn)在于哪些技術能更好的使用數(shù)據(jù)以及大數(shù)據(jù)的應用情況如何。這與傳統(tǒng)的數(shù)據(jù)庫相比，開源的大數(shù)據(jù)分析工具的如Hadoop的崛起，這些非結構化的數(shù)據(jù)服務的價值在哪里。

大數(shù)據(jù)分析

眾所周知，大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大的事實了，而最重要的現(xiàn)實是對大數(shù)據(jù)進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那么越來越多的應用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素?；谌绱说恼J識，大數(shù)據(jù)分析普遍存在的方法理論有哪些呢？

大數(shù)據(jù)技術

數(shù)據(jù)采集：ETL工具負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。

數(shù)據(jù)存取：關系數(shù)據(jù)庫、NOSQL、SQL等。

基礎架構：云存儲、分布式文件存儲等。

數(shù)據(jù)處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。

統(tǒng)計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優(yōu)尺度分析）、bootstrap技術等等。

數(shù)據(jù)挖掘：分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯(lián)規(guī)則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)

模型預測：預測模型、機器學習、建模仿真。

結果呈現(xiàn)：云計算、標簽云、關系圖等。

大數(shù)據(jù)特點

要理解大數(shù)據(jù)這一概念，首先要從"大"入手，"大"是指數(shù)據(jù)規(guī)模，大數(shù)據(jù)一般指在10TB(1TB=1024GB)規(guī)模以上的數(shù)據(jù)量。大數(shù)據(jù)同過去的海量數(shù)據(jù)有所區(qū)別，其基本特征可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。

第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別。

第二，數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡日志、視頻、圖片、地理位置信息，等等。

第三，價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。

第四，處理速度快。1秒定律。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。

大數(shù)據(jù)技術是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術。解決大數(shù)據(jù)問題的核心是大數(shù)據(jù)技術。目前所說的"大數(shù)據(jù)"不僅指數(shù)據(jù)本身的規(guī)模，也包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)。大數(shù)據(jù)研發(fā)目的是發(fā)展大數(shù)據(jù)技術并將其應用到相關領域，通過解決巨量數(shù)據(jù)處理問題促進其突破性發(fā)展。因此，大數(shù)據(jù)時代帶來的挑戰(zhàn)不僅體現(xiàn)在如何處理巨量數(shù)據(jù)從中獲取有價值的信息，也體現(xiàn)在如何加強大數(shù)據(jù)技術研發(fā)，搶占時代發(fā)展的前沿。

當下我國大數(shù)據(jù)研發(fā)建設應在以下四個方面著力

一是建立一套運行機制。大數(shù)據(jù)建設是一項有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運行機制，以促進建設過程中各個環(huán)節(jié)的正規(guī)有序，實現(xiàn)統(tǒng)合，搞好頂層設計。

二是規(guī)范一套建設標準。沒有標準就沒有系統(tǒng)。應建立面向不同主題、覆蓋各個領域、不斷動態(tài)更新的大數(shù)據(jù)建設標準，為實現(xiàn)各級各類信息系統(tǒng)的網(wǎng)絡互連、信息互通、資源共享奠定基礎。

三是搭建一個共享平臺。數(shù)據(jù)只有不斷流動和充分共享，才有生命力。應在各專用數(shù)據(jù)庫建設的基礎上，通過數(shù)據(jù)集成，實現(xiàn)各級各類指揮信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。

四是培養(yǎng)一支專業(yè)隊伍。大數(shù)據(jù)建設的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術、懂管理的大數(shù)據(jù)建設專業(yè)隊伍。

大數(shù)據(jù)作用

大數(shù)據(jù)時代到來，認同這一判斷的人越來越多。那么大數(shù)據(jù)意味著什么，他到底會改變什么？僅僅從技術角度回答，已不足以解惑。大數(shù)據(jù)只是賓語，離開了人這個主語，它再大也沒有意義。我們需要把大數(shù)據(jù)放在人的背景中加以透視，理解它作為時代變革力量的所以然。

變革價值的力量

未來十年，決定中國是不是有大智慧的核心意義標準（那個"思想者"），就是國民幸福。一體現(xiàn)在民生上，通過大數(shù)據(jù)讓有意義的事變得澄明，看我們在人與人關系上，做得是否比以前更有意義；二體現(xiàn)在生態(tài)上，通過大數(shù)據(jù)讓有意義的事變得澄明，看我們在天與人關系上，做得是否比以前更有意義?？傊?，讓我們從前10年的意義混沌時代，進入未來10年意義澄明時代。

變革經(jīng)濟的力量

生產(chǎn)者是有價值的，消費者是價值的意義所在。有意義的才有價值，消費者不認同的，就賣不出去，就實現(xiàn)不了價值；只有消費者認同的，才賣得出去，才實現(xiàn)得了價值。大數(shù)據(jù)幫助我們從消費者這個源頭識別意義，從而幫助生產(chǎn)者實現(xiàn)價值。這就是啟動內(nèi)需的原理。

變革組織的力量

隨著具有語義網(wǎng)特征的數(shù)據(jù)基礎設施和數(shù)據(jù)資源發(fā)展起來，組織的變革就越來越顯得不可避免。大數(shù)據(jù)將推動網(wǎng)絡結構產(chǎn)生無組織的組織力量。最先反映這種結構特點的，是各種各樣去中心化的WEB2.0應用，如RSS、維基、博客等。

大數(shù)據(jù)之所以成為時代變革力量，在于它通過追隨意義而獲得智慧。

大數(shù)據(jù)處理

大數(shù)據(jù)處理數(shù)據(jù)時代理念的三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。

大數(shù)據(jù)處理的流程

具體的大數(shù)據(jù)處理方法確實有很多，但是根據(jù)筆者長時間的實踐，總結了一個普遍適用的大數(shù)據(jù)處理流程，并且這個流程應該能夠對大家理順大數(shù)據(jù)的處理有所幫助。整個處理流程可以概括為四步，分別是采集、導入和預處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。

大數(shù)據(jù)處理之一：采集

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設計。

大數(shù)據(jù)處理之二：導入/預處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數(shù)據(jù)進行流式計算，來滿足部分業(yè)務的實時計算需求。

導入與預處理過程的特點和挑戰(zhàn)主要是導入的數(shù)據(jù)量大，每秒鐘的導入量經(jīng)常會達到百兆，甚至千兆級別。

大數(shù)據(jù)處理之三：統(tǒng)計/分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數(shù)據(jù)的需求可以使用Hadoop。

統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

大數(shù)據(jù)處理之四：挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型算法有用于聚類的Kmeans、用于統(tǒng)計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

整個大數(shù)據(jù)處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數(shù)據(jù)處理。

大數(shù)據(jù)應用與案例分析

大數(shù)據(jù)應用的關鍵，也是其必要條件，就在于"IT"與"經(jīng)營"的融合，當然，這里的經(jīng)營的內(nèi)涵可以非常廣泛，小至一個零售門店的經(jīng)營，大至一個城市的經(jīng)營。以下是我整理的關于各行各業(yè)，不同的組織機構在大數(shù)據(jù)方面的應用的案例，在此申明，以下案例均來源于網(wǎng)絡，本文僅作引用，并在此基礎上作簡單的梳理和分類。

大數(shù)據(jù)應用案例之：醫(yī)療行業(yè)

[1] Seton Healthcare是采用IBM最新沃森技術醫(yī)療保健內(nèi)容分析預測的首個客戶。該技術允許企業(yè)找到大量病人相關的臨床醫(yī)療信息，通過大數(shù)據(jù)處理，更好地分析病人的信息。

[2] 在加拿大多倫多的一家醫(yī)院，針對早產(chǎn)嬰兒，每秒鐘有超過3000次的數(shù)據(jù)讀取。通過這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問題并且有針對性地采取措施，避免早產(chǎn)嬰兒夭折。

[3] 它讓更多的創(chuàng)業(yè)者更方便地開發(fā)產(chǎn)品，比如通過社交網(wǎng)絡來收集數(shù)據(jù)的健康類App。也許未來數(shù)年后，它們搜集的數(shù)據(jù)能讓醫(yī)生給你的診斷變得更為精確，比方說不是通用的成人每日三次一次一片，而是檢測到你的血液中藥劑已經(jīng)代謝完成會自動提醒你再次服藥。

大數(shù)據(jù)應用案例之：能源行業(yè)

[1] 智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多余電的時候還可以買回來。通過電網(wǎng)收集每隔五分鐘或十分鐘收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網(wǎng)大概需要多少電。有了這個預測后，就可以向發(fā)電或者供電企業(yè)購買一定數(shù)量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現(xiàn)貨就比較貴。通過這個預測后，可以降低采購成本。

[2] 維斯塔斯風力系統(tǒng)，依靠的是BigInsights軟件和IBM超級計算機，然后對氣象數(shù)據(jù)進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數(shù)據(jù)，以往需要數(shù)周的分析工作，現(xiàn)在僅需要不足1小時便可完成。

大數(shù)據(jù)應用案例之：通信行業(yè)

[1] XO Communications通過使用IBM SPSS預測分析軟件，減少了將近一半的客戶流失率。XO現(xiàn)在可以預測客戶的行為，發(fā)現(xiàn)行為趨勢，并找出存在缺陷的環(huán)節(jié)，從而幫助公司及時采取措施，保留客戶。此外，IBM新的Netezza網(wǎng)絡分析加速器，將通過提供單個端到端網(wǎng)絡、服務、客戶分析視圖的可擴展平臺，幫助通信企業(yè)制定更科學、合理決策。

[2] 電信業(yè)者透過數(shù)以千萬計的客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業(yè)，這是全新的資料經(jīng)濟。

[3] 中國移動通過大數(shù)據(jù)分析，對企業(yè)運營的全業(yè)務進行針對性的監(jiān)控、預警、跟蹤。系統(tǒng)在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內(nèi)獲知市場行情。

[4] NTT docomo把手機位置信息和互聯(lián)網(wǎng)上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。

大數(shù)據(jù)應用案例之：零售業(yè)

[1] "我們的某個客戶，是一家領先的專業(yè)時裝零售商，通過當?shù)氐陌儇浬痰?、網(wǎng)絡及其郵購目錄業(yè)務為客戶提供服務。公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。希望通過接受免費化妝服務，讓用戶進行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的完美結合，為業(yè)務挑戰(zhàn)提供了解決方案。"Informatica的技術幫助這家零售商用社交平臺上的數(shù)據(jù)充實了客戶主數(shù)據(jù)，使他的業(yè)務服務更具有目標性。

[2] 零售企業(yè)也監(jiān)控客戶的店內(nèi)走動情況以及與商品的互動。它們將這些數(shù)據(jù)與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經(jīng)幫助某領先零售企業(yè)減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例

當前名稱：抽樣數(shù)據(jù)nosql,抽樣數(shù)據(jù)分析顯示非數(shù)據(jù)型數(shù)據(jù)
新聞來源：http://jinyejixie.com/article16/dsedogg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、建站公司、網(wǎng)站營銷、網(wǎng)頁設計公司、靜態(tài)網(wǎng)站、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)