大數(shù)據(jù)行業(yè)里的兩大誤區(qū)是什么，相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

為白堿灘等地區(qū)用戶提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及白堿灘網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、白堿灘網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

大數(shù)據(jù)這個(gè)詞，恐怕是近兩年IT界炒的最熱的詞匯之一了，各種論壇、會(huì)議，言必談大數(shù)據(jù)，“大數(shù)據(jù)”這個(gè)詞，在IT界已經(jīng)成了某果一樣的“街機(jī)”或者叫“街詞”，不跟風(fēng)說(shuō)兩句“大數(shù)據(jù)長(zhǎng)，大數(shù)據(jù)短”都不好意思跟人說(shuō)自己是搞IT的。從某種程度來(lái)講，大數(shù)據(jù)這個(gè)“圈”太亂了，一點(diǎn)不比“貴圈”好。

先從概念上來(lái)說(shuō)，大數(shù)據(jù)是什么？其實(shí)數(shù)據(jù)處理從人類誕生時(shí)期就有了，古人結(jié)繩記事就是基本的統(tǒng)計(jì)，統(tǒng)計(jì)自己吃了幾頓飯打了幾次獵等等；再往近說(shuō)，皇帝每晚翻嬪妃的牌子也是數(shù)據(jù)處理，在翻牌子之前，要從一大堆牌子里分析“方便”、“熱度高”、“新鮮度”等指標(biāo)；更近的說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)早在大數(shù)據(jù)這個(gè)詞出現(xiàn)前就已經(jīng)成熟發(fā)展了好幾十年了。所以說(shuō)，大數(shù)據(jù)并不新鮮，只是某些技術(shù)如Hadoop、MR、Storm、Spark發(fā)展到一定階段，順應(yīng)這些技術(shù)炒出來(lái)的概念，但是這些概念都基于一個(gè)基本的理念“開源”，這個(gè)理念是之前任何階段都沒有過(guò)，可以節(jié)省費(fèi)用提高效率，所以大家才都往這個(gè)行業(yè)里扔火柴（話說(shuō)現(xiàn)在很多人跟風(fēng)亂吵，個(gè)人認(rèn)為也不是壞事）。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。誤區(qū)一：只有搞大數(shù)據(jù)技術(shù)開發(fā)的，才是真正“圈內(nèi)人”。

筆者曾經(jīng)參加過(guò)若干會(huì)議，70%是偏技術(shù)的，在場(chǎng)的都是國(guó)內(nèi)各個(gè)數(shù)據(jù)相關(guān)項(xiàng)目經(jīng)理和技術(shù)帶頭人，大家討論的話題都是在升級(jí)CDH版本的時(shí)候有什么問(wèn)題，在處理Hive作業(yè)的時(shí)候哪種方式更好，在Storm、Kafka匹配時(shí)如何效率更高，在Spark應(yīng)用時(shí)內(nèi)存如何釋放這些問(wèn)題。參會(huì)者都一個(gè)態(tài)度：不懂大數(shù)據(jù)技術(shù)的人沒資格評(píng)論大數(shù)據(jù)，您要不懂Hadoop 2.0中的資源配置，不懂Spark在內(nèi)存的駐留時(shí)間調(diào)優(yōu)，不懂Kafka采集就別參加這個(gè)會(huì)！對(duì)了，最近Google完全拋棄MR只用Dataflow了，您懂嗎？不懂滾粗！

在這里我想說(shuō)，技術(shù)的進(jìn)步都是由業(yè)務(wù)驅(qū)動(dòng)的，某寶去了IOE才能叫大數(shù)據(jù)嗎，我作為一個(gè)聾啞人×××師用結(jié)繩記事完成了對(duì)于不同體型的人，用什么×××手法進(jìn)行全流程治療，就不叫大數(shù)據(jù)分析了嗎？技術(shù)發(fā)展到什么程度，只有一小部分是由科學(xué)家追求極致的精神驅(qū)動(dòng)，大部分原因是因?yàn)闃I(yè)務(wù)發(fā)展到一定程度，要求技術(shù)必須做出進(jìn)步才能達(dá)成目標(biāo)的。

所以，真正的大數(shù)據(jù)“圈內(nèi)人”至少要包含以下幾種人：

一、業(yè)務(wù)運(yùn)營(yíng)人員。比如互聯(lián)網(wǎng)的產(chǎn)品經(jīng)理要求技術(shù)人員，必須在用戶到達(dá)網(wǎng)站的時(shí)候就算出他今天的心情指數(shù)，而且要實(shí)現(xiàn)動(dòng)態(tài)監(jiān)測(cè)，這時(shí)候只能用Storm或者Spark來(lái)處理了；比如電信運(yùn)營(yíng)商要求做到實(shí)時(shí)營(yíng)銷，用戶進(jìn)入營(yíng)業(yè)廳的時(shí)候，必須馬上推送短信給用戶，提示他本營(yíng)業(yè)廳有一個(gè)特別適合他的相親對(duì)象（呈現(xiàn)身高、三圍、體重等指標(biāo)），但是見面前要先購(gòu)買4G手機(jī)；再比如病人來(lái)到銀行開戶，銀行了解到用戶最近1周曾經(jīng)去醫(yī)院門診過(guò)兩次，出國(guó)旅游過(guò)3次，帶孩子游泳兩次，馬上客戶經(jīng)理就給客戶推薦相關(guān)的銀行保險(xiǎn)+理財(cái)產(chǎn)品。這些業(yè)務(wù)人員，往往是驅(qū)動(dòng)技術(shù)進(jìn)步的核心原因。

二、架構(gòu)師。架構(gòu)師有多么重要，當(dāng)一個(gè)業(yè)務(wù)人員和一個(gè)工程師，一個(gè)說(shuō)著業(yè)務(wù)語(yǔ)言，一個(gè)說(shuō)著技術(shù)術(shù)語(yǔ)在那里討論問(wèn)題的時(shí)候，工程師往往想著用什么樣的代碼能馬上讓他閉嘴，而架構(gòu)師往往會(huì)跳出來(lái)說(shuō)“不，不能那樣，你這樣寫只能解決一個(gè)問(wèn)題并且會(huì)制造后續(xù)的若干問(wèn)題，按照我這個(gè)方案來(lái)，可以解決后續(xù)的若干問(wèn)題！”一個(gè)非技術(shù)企業(yè)的IT系統(tǒng)水平，往往有70%以上的標(biāo)準(zhǔn)掌握在架構(gòu)設(shè)計(jì)人員手里，盡快很多優(yōu)秀的架構(gòu)師都是從工程師慢慢發(fā)展學(xué)習(xí)而來(lái)的，IT架構(gòu)的重要性，很多企業(yè)都意識(shí)到了，這就是很多企業(yè)有CTO和CIO兩個(gè)職位，同樣重要！架構(gòu)之美，當(dāng)IT系統(tǒng)平穩(wěn)運(yùn)行的時(shí)候沒人能感受到，但是在一個(gè)煙囪林立、架構(gòu)混亂的環(huán)境中走過(guò)的人眼中，IT開發(fā)一定要架構(gòu)現(xiàn)行，開發(fā)在后！

三、投資人。老板，不用說(shuō)了，老板給你吃穿，你給老板賣命，天生的基礎(chǔ)資料提供者，老板說(shuō)要有山便有了山，老板說(shuō)要做實(shí)時(shí)數(shù)據(jù)處理分析，便有了Storm，老板說(shuō)要做開源，便有了Hadoop，老板還說(shuō)要做迭代挖掘，便有了Spark……

四、科學(xué)家。他們是別人眼中的Geek，他們是別人眼中的高大上，他們是類似于霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女，他們是驅(qū)動(dòng)世界技術(shù)進(jìn)步的核心力量。除了世界頂級(jí)的IT公司（往往世界技術(shù)方向掌握在他們手中），其他公司一般需要1-2個(gè)科學(xué)家足以，他們是真正投身于科學(xué)的人，不要讓他們?nèi)タ紤]業(yè)務(wù)場(chǎng)景，不要讓他們?nèi)タ紤]業(yè)務(wù)流程，不要讓他們?nèi)ビ?jì)算成本，不要讓他們?nèi)タ紤]項(xiàng)目進(jìn)度，他們唯一需要考慮的就是如何在某個(gè)指標(biāo)上擊敗對(duì)手，在某個(gè)指標(biāo)上提高0.1%已經(jīng)讓他們可以連續(xù)奮戰(zhàn)，不眠不休，讓我們都為這些科學(xué)家喝彩和歡呼吧。在中國(guó)，我認(rèn)為真正的大數(shù)據(jù)科學(xué)家不超過(guò)百人……

五、工程師。工程師是這樣一群可愛的人，他們年輕，沖動(dòng)，有理想，又被人尊稱為“屌絲”“鍵盤黨”，他們孜孜不倦的為自己的理想而拼搏，每次自己取得一點(diǎn)點(diǎn)進(jìn)步的時(shí)候，都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢。他們敏感，自負(fù)，從來(lái)不屑于和業(yè)務(wù)人員去爭(zhēng)論。工程師和科學(xué)家的不同點(diǎn)在于，工程師需要頻繁改動(dòng)代碼，頻繁測(cè)試程序，頻繁上線，但是最后的系統(tǒng)是由若干工程師的代碼組合起來(lái)的。每個(gè)自負(fù)的工程師看到系統(tǒng)的歷史代碼都會(huì)鄙視的發(fā)出一聲“哼，這垃圾代碼”，之后便投入到被后人繼續(xù)鄙視的代碼編寫工作中去。

六、跟風(fēng)者。他們中有些是培訓(xùn)師，有些是殺馬特洗剪吹，有些是煤老板有些是失足少女。他們的特點(diǎn)就是炒，和炒房者唯一不同的就是，他們不用付出金錢，他們認(rèn)為只要和數(shù)據(jù)沾邊就叫大數(shù)據(jù)，他們有些人甚至從來(lái)沒碰過(guò)IT系統(tǒng)，他們是渾水摸魚、濫竽充數(shù)的高手，他們是被前幾種人鄙視的隱形人。不過(guò)我想說(shuō)，歡迎來(lái)炒，一個(gè)行業(yè)炒的越兇，真正有價(jià)值的人就更能發(fā)揮自己的作用。

誤區(qū)二：只有大數(shù)據(jù)才能拯救世界

大數(shù)據(jù)目前的技術(shù)和應(yīng)用都是在數(shù)據(jù)分析、數(shù)據(jù)倉(cāng)庫(kù)等方面，主要針對(duì)OLAP（Online Analytical System），從技術(shù)角度來(lái)說(shuō)，包含我總結(jié)的兩條腿：一條腿是批量數(shù)據(jù)處理（包括MR、MPP等），另一條腿實(shí)時(shí)數(shù)據(jù)流處理（Storm、內(nèi)存數(shù)據(jù)庫(kù)等）。在此基礎(chǔ)上，部分場(chǎng)景又發(fā)現(xiàn)MR框架或?qū)崟r(shí)框架不能很好的滿足近線、迭代的挖掘需要，故又產(chǎn)生了目前非?；鸬幕趦?nèi)存數(shù)據(jù)處理Spark框架。很多企業(yè)目前的大數(shù)據(jù)框架是，一方面以Hadoop 2.0之上的Hive、Pig框架處理底層的數(shù)據(jù)加工和處理，把按照業(yè)務(wù)邏輯處理完的數(shù)據(jù)直接送入到應(yīng)用數(shù)據(jù)庫(kù)中；另一方面以Storm流處理引擎處理實(shí)時(shí)的數(shù)據(jù)，根據(jù)業(yè)務(wù)營(yíng)銷的規(guī)則觸發(fā)相應(yīng)的營(yíng)銷場(chǎng)景。同時(shí)，用基于Spark處理技術(shù)集群滿足對(duì)于實(shí)時(shí)數(shù)據(jù)加工、挖掘的需求。大數(shù)據(jù)交流群：251956502

以上描述可以看出，大數(shù)據(jù)說(shuō)白了就是還沒有進(jìn)入真正的交易系統(tǒng)，沒有在OLTP（Online Transaction system）方面做出太大的貢獻(xiàn)。至于很多文章把大數(shù)據(jù)和物聯(lián)網(wǎng)、泛在網(wǎng)、智慧城市都聯(lián)系在一起，我認(rèn)為大數(shù)據(jù)不過(guò)是條件之一，其余的OLTP系統(tǒng)是否具備，物理網(wǎng)絡(luò)甚至組織架構(gòu)都是重要因素。

最后還想說(shuō)，大數(shù)據(jù)處理技術(shù)，再炫如Google的Dataflow或成熟如Hadoop 2.0、數(shù)據(jù)倉(cāng)庫(kù)、Storm等，本質(zhì)上都是數(shù)據(jù)加工工具，對(duì)于很多工程師來(lái)說(shuō)，只需要把數(shù)據(jù)處理流程搞清楚就可以了，在這個(gè)平臺(tái)上可以用固定的模版和腳本進(jìn)行數(shù)據(jù)加工已經(jīng)足夠。畢竟數(shù)據(jù)的價(jià)值70%以上是對(duì)業(yè)務(wù)應(yīng)用而言的，一個(gè)炫詞對(duì)于業(yè)務(wù)如果沒有幫助，終將只是屠龍之術(shù)。任何技術(shù)、IT架構(gòu)都要符合業(yè)務(wù)規(guī)劃、符合業(yè)務(wù)發(fā)展的要求，否則技術(shù)只會(huì)妨礙業(yè)務(wù)和生產(chǎn)力的發(fā)展。

看完上述內(nèi)容，你們掌握大數(shù)據(jù)行業(yè)里的兩大誤區(qū)是什么的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

名稱欄目：大數(shù)據(jù)行業(yè)里的兩大誤區(qū)是什么-創(chuàng)新互聯(lián)
本文路徑：http://jinyejixie.com/article26/coiijg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、網(wǎng)站營(yíng)銷、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站、全網(wǎng)營(yíng)銷推廣、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)