大數(shù)據(jù)作為2019年比較熱門的技術(shù)，受到越來(lái)越多的關(guān)注，那么對(duì)于一個(gè)想進(jìn)入大數(shù)據(jù)的朋友來(lái)說(shuō)，最想知道的是：大數(shù)據(jù)學(xué)什么？今天科多大數(shù)據(jù)就和你們一起來(lái)分享一篇關(guān)于大數(shù)據(jù)學(xué)習(xí)內(nèi)容體系介紹的文章。（資料在尾部）

大數(shù)據(jù)技術(shù)體系太龐雜了，基礎(chǔ)技術(shù)覆蓋數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NOSQL數(shù)據(jù)庫(kù)、多模式計(jì)算（批處理、在線處理、實(shí)時(shí)流處理、內(nèi)存處理）、多模態(tài)計(jì)算（圖像、文本、視頻、音頻）、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)、并行計(jì)算、可視化等各種技術(shù)范疇和不同的層面。另外大數(shù)據(jù)應(yīng)用領(lǐng)域廣泛，各領(lǐng)域采用技術(shù)的差異性還是比較大的。短時(shí)間很難掌握多個(gè)領(lǐng)域的大數(shù)據(jù)理論和技術(shù)，建議從應(yīng)用切入、以點(diǎn)帶面，先從一個(gè)實(shí)際的應(yīng)用領(lǐng)域需求，搞定一個(gè)一個(gè)技術(shù)點(diǎn)，有一定功底之后，再舉一反三橫向擴(kuò)展，這樣學(xué)習(xí)效果就會(huì)好很多。大數(shù)據(jù)技術(shù)初探

從前幾年到現(xiàn)在所謂的大數(shù)據(jù)時(shí)代，移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、人工智能、機(jī)器人、大數(shù)據(jù)等前沿信息技術(shù)領(lǐng)域，逐個(gè)火了一遍，什么是大數(shù)據(jù)，大數(shù)據(jù)的技術(shù)范疇包括那些，估計(jì)很多人都是根據(jù)自己所熟悉的領(lǐng)域在盲人摸象。

下文從DT（Data technology，數(shù)據(jù)技術(shù)）技術(shù)泛型角度來(lái)系統(tǒng)地介紹什么是大數(shù)據(jù)，包括那些核心技術(shù)，各領(lǐng)域之間的關(guān)系等等：

首先我們說(shuō)機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)（machine learning），是計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)的交叉學(xué)科，核心目標(biāo)是通過(guò)函數(shù)映射、數(shù)據(jù)訓(xùn)練、最優(yōu)化求解、模型評(píng)估等一系列算法實(shí)現(xiàn)，讓計(jì)算機(jī)擁有對(duì)數(shù)據(jù)進(jìn)行自動(dòng)分類和預(yù)測(cè)的功能；機(jī)器學(xué)習(xí)領(lǐng)域包括很多智能處理算法，分類、聚類、回歸、相關(guān)分析等每類下面都有很多算法進(jìn)行支撐，如SVM，神經(jīng)網(wǎng)絡(luò)，Logistic回歸，決策樹(shù)、EM、HMM、貝葉斯網(wǎng)絡(luò)、隨機(jī)森林、LDA等，無(wú)論是網(wǎng)絡(luò)排名的十大算法還是二十大算法，都只能說(shuō)是冰山一角；總之計(jì)算機(jī)要智能化，機(jī)器學(xué)習(xí)是核心的核心，深度學(xué)習(xí)、數(shù)據(jù)挖掘、商業(yè)智能、人工智能，大數(shù)據(jù)等概念的核心技術(shù)就是機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)用于圖像處理和識(shí)別就是機(jī)器視覺(jué)，機(jī)器學(xué)習(xí)用于模擬人類語(yǔ)言就是自然語(yǔ)言處理，機(jī)器視覺(jué)和自然語(yǔ)言處理也是支撐人工智能的核心技術(shù)，機(jī)器學(xué)習(xí)用于通用的數(shù)據(jù)分析就是數(shù)據(jù)挖掘，數(shù)據(jù)挖掘也是商業(yè)智能的核心技術(shù)。

深度學(xué)習(xí)（deep learning），機(jī)器學(xué)習(xí)里面現(xiàn)在比較火的一個(gè)子領(lǐng)域，深度學(xué)習(xí)是已經(jīng)被研究過(guò)幾十年的神經(jīng)網(wǎng)絡(luò)算法的變種，由于在大數(shù)據(jù)條件下圖像，語(yǔ)音識(shí)別等領(lǐng)域的分類和識(shí)別上取得了非常好的效果，有望成為人工智能取得突破的核心技術(shù)，所以各大研究機(jī)構(gòu)和IT巨頭們都投入了大量的人力物力做相關(guān)的研究和開(kāi)發(fā)工作。

數(shù)據(jù)挖掘（data mining），是一個(gè)很寬泛的概念，類似于采礦，要從大量石頭里面挖出很少的寶石，從海量數(shù)據(jù)里面挖掘有價(jià)值有規(guī)律的信息同理。數(shù)據(jù)挖掘核心技術(shù)來(lái)自于機(jī)器學(xué)習(xí)領(lǐng)域，如深度學(xué)習(xí)是機(jī)器學(xué)習(xí)一種比較火的算法，當(dāng)然也可以用于數(shù)據(jù)挖掘。還有傳統(tǒng)的商業(yè)智能（BI）領(lǐng)域也包括數(shù)據(jù)挖掘，OLAP多維數(shù)據(jù)分析可以做挖掘分析，甚至Excel基本的統(tǒng)計(jì)分析也可以做挖掘。關(guān)鍵是你的技術(shù)能否真正挖掘出有用的信息，然后這些信息可以提升指導(dǎo)你的決策，如果是那就算入了數(shù)據(jù)挖掘的門。

人工智能（artifical intelligence），也是一個(gè)很大的概念，終極目標(biāo)是機(jī)器智能化擬人化，機(jī)器能完成和人一樣的工作，人腦僅憑幾十瓦的功率，能夠處理種種復(fù)雜的問(wèn)題，怎樣看都是很神奇的事情。雖然機(jī)器的計(jì)算能力比人類強(qiáng)很多，但人類的理解能力，感性的推斷，記憶和幻想，心理學(xué)等方面的功能，機(jī)器是難以比肩的，所以機(jī)器要擬人化很難單從技術(shù)角度把人工智能講清楚。人工智能與機(jī)器學(xué)習(xí)的關(guān)系，兩者的相當(dāng)一部分技術(shù)、算法都是重合的，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)和qipai走步等領(lǐng)域取得了巨大的成功，比如谷歌自動(dòng)識(shí)別一只貓，最近谷歌的AlpaGo還擊敗了人類頂級(jí)的專業(yè)圍棋手等。但深度學(xué)習(xí)在現(xiàn)階段還不能實(shí)現(xiàn)類腦計(jì)算，最多達(dá)到仿生層面，情感，記憶，認(rèn)知，經(jīng)驗(yàn)等人類獨(dú)有能力機(jī)器在短期難以達(dá)到。

最后我們才說(shuō)大數(shù)據(jù)（big data），大數(shù)據(jù)本質(zhì)是一種方法論，一句話概括，就是通過(guò)分析和挖掘全量海量的非抽樣數(shù)據(jù)進(jìn)行輔助決策。上述技術(shù)原來(lái)是在小規(guī)模數(shù)據(jù)上進(jìn)行計(jì)算處理，大數(shù)據(jù)時(shí)代呢，只是數(shù)據(jù)變大了，核心技術(shù)還是離不開(kāi)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等，另外還需考慮海量數(shù)據(jù)的分布式存儲(chǔ)管理和機(jī)器學(xué)習(xí)算法并行處理等核心技術(shù)?？傊髷?shù)據(jù)這個(gè)概念就是個(gè)大框，什么都能往里裝，大數(shù)據(jù)源的采集如果用傳感器的話離不開(kāi)物聯(lián)網(wǎng)、大數(shù)據(jù)源的采集用智能手機(jī)的話離不開(kāi)移動(dòng)互聯(lián)網(wǎng)，大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)要高擴(kuò)展就離不開(kāi)云計(jì)算，大數(shù)據(jù)計(jì)算分析采用傳統(tǒng)的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘技術(shù)會(huì)比較慢，需要做并行計(jì)算和分布式計(jì)算擴(kuò)展，大數(shù)據(jù)要互動(dòng)展示離不開(kāi)可視化，大數(shù)據(jù)的基礎(chǔ)分析要不要跟傳統(tǒng)商業(yè)智能結(jié)合，金融大數(shù)據(jù)分析、交通大數(shù)據(jù)分析、醫(yī)療大數(shù)據(jù)分析、電信大數(shù)據(jù)分析、電商大數(shù)據(jù)分析、社交大數(shù)據(jù)分析，文本大數(shù)據(jù)、圖像大數(shù)據(jù)、視頻大數(shù)據(jù)…諸如此類等等范圍太廣…，總之大數(shù)據(jù)這個(gè)框太大，其終極目標(biāo)是利用上述一系列核心技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)條件下的人類深度洞察和決策智能化！這不僅是信息技術(shù)的終極目標(biāo)，也是人類社會(huì)發(fā)展管理智能化的核心技術(shù)驅(qū)動(dòng)力。

數(shù)據(jù)分析師的能力體系

如下圖：

數(shù)學(xué)知識(shí)

數(shù)學(xué)知識(shí)是數(shù)據(jù)分析師的基礎(chǔ)知識(shí)。

對(duì)于初級(jí)數(shù)據(jù)分析師，了解一些描述統(tǒng)計(jì)相關(guān)的基礎(chǔ)內(nèi)容，有一定的公式計(jì)算能力即可，了解常用統(tǒng)計(jì)模型算法則是加分。

對(duì)于高級(jí)數(shù)據(jù)分析師，統(tǒng)計(jì)模型相關(guān)知識(shí)是必備能力，線性代數(shù)（主要是矩陣計(jì)算相關(guān)知識(shí)）最好也有一定的了解。

而對(duì)于數(shù)據(jù)挖掘工程師，除了統(tǒng)計(jì)學(xué)以外，各類算法也需要熟練使用，對(duì)數(shù)學(xué)的要求是高的。

分析工具

對(duì)于初級(jí)數(shù)據(jù)分析師，玩轉(zhuǎn)Excel是必須的，數(shù)據(jù)透視表和公式使用必須熟練，VBA是加分。另外，還要學(xué)會(huì)一個(gè)統(tǒng)計(jì)分析工具，SPSS作為入門是比較好的。

對(duì)于高級(jí)數(shù)據(jù)分析師，使用分析工具是核心能力，VBA基本必備，SPSS/SAS/R至少要熟練使用其中之一，其他分析工具（如Matlab）視情況而定。

對(duì)于數(shù)據(jù)挖掘工程師……嗯，會(huì)用用Excel就行了，主要工作要靠寫代碼來(lái)解決呢。

編程語(yǔ)言

對(duì)于初級(jí)數(shù)據(jù)分析師，會(huì)寫SQL查詢，有需要的話寫寫Hadoop和Hive查詢，基本就OK了。

對(duì)于高級(jí)數(shù)據(jù)分析師，除了SQL以外，學(xué)習(xí)Python是很有必要的，用來(lái)獲取和處理數(shù)據(jù)都是事半功倍。當(dāng)然其他編程語(yǔ)言也是可以的。

對(duì)于數(shù)據(jù)挖掘工程師，Hadoop得熟悉，Python/Java/C++至少得熟悉一門，Shell得會(huì)用……總之編程語(yǔ)言絕對(duì)是數(shù)據(jù)挖掘工程師的最核心能力了。

業(yè)務(wù)理解

業(yè)務(wù)理解說(shuō)是數(shù)據(jù)分析師所有工作的基礎(chǔ)也不為過(guò)，數(shù)據(jù)的獲取方案、指標(biāo)的選取、乃至最終結(jié)論的洞察，都依賴于數(shù)據(jù)分析師對(duì)業(yè)務(wù)本身的理解。

對(duì)于初級(jí)數(shù)據(jù)分析師，主要工作是提取數(shù)據(jù)和做一些簡(jiǎn)單圖表，以及少量的洞察結(jié)論，擁有對(duì)業(yè)務(wù)的基本了解就可以。

對(duì)于高級(jí)數(shù)據(jù)分析師，需要對(duì)業(yè)務(wù)有較為深入的了解，能夠基于數(shù)據(jù)，提煉出有效觀點(diǎn)，對(duì)實(shí)際業(yè)務(wù)能有所幫助。

對(duì)于數(shù)據(jù)挖掘工程師，對(duì)業(yè)務(wù)有基本了解就可以，重點(diǎn)還是需要放在發(fā)揮自己的技術(shù)能力上。

邏輯思維

這項(xiàng)能力在我之前的文章中提的比較少，這次單獨(dú)拿出來(lái)說(shuō)一下。

對(duì)于初級(jí)數(shù)據(jù)分析師，邏輯思維主要體現(xiàn)在數(shù)據(jù)分析過(guò)程中每一步都有目的性，知道自己需要用什么樣的手段，達(dá)到什么樣的目標(biāo)。

對(duì)于高級(jí)數(shù)據(jù)分析師，邏輯思維主要體現(xiàn)在搭建完整有效的分析框架，了解分析對(duì)象之間的關(guān)聯(lián)關(guān)系，清楚每一個(gè)指標(biāo)變化的前因后果，會(huì)給業(yè)務(wù)帶來(lái)的影響。

對(duì)于數(shù)據(jù)挖掘工程師，邏輯思維除了體現(xiàn)在和業(yè)務(wù)相關(guān)的分析工作上，還包括算法邏輯，程序邏輯等，所以對(duì)邏輯思維的要求也是高的。

數(shù)據(jù)可視化

數(shù)據(jù)可視化說(shuō)起來(lái)很高大上，其實(shí)包括的范圍很廣，做個(gè)PPT里邊放上數(shù)據(jù)圖表也可以算是數(shù)據(jù)可視化，所以我認(rèn)為這是一項(xiàng)普遍需要的能力。

對(duì)于初級(jí)數(shù)據(jù)分析師，能用Excel和PPT做出基本的圖表和報(bào)告，能清楚的展示數(shù)據(jù)，就達(dá)到目標(biāo)了。

對(duì)于高級(jí)數(shù)據(jù)分析師，需要探尋更好的數(shù)據(jù)可視化方法，使用更有效的數(shù)據(jù)可視化工具，根據(jù)實(shí)際需求做出或簡(jiǎn)單或復(fù)雜，但適合受眾觀看的數(shù)據(jù)可視化內(nèi)容。

對(duì)于數(shù)據(jù)挖掘工程師，了解一些數(shù)據(jù)可視化工具是有必要的，也要根據(jù)需求做一些復(fù)雜的可視化圖表，但通常不需要考慮太多美化的問(wèn)題。

協(xié)調(diào)溝通

對(duì)于初級(jí)數(shù)據(jù)分析師，了解業(yè)務(wù)、尋找數(shù)據(jù)、講解報(bào)告，都需要和不同部門的人打交道，因此溝通能力很重要。

對(duì)于高級(jí)數(shù)據(jù)分析師，需要開(kāi)始獨(dú)立帶項(xiàng)目，或者和產(chǎn)品做一些合作，因此除了溝通能力以外，還需要一些項(xiàng)目協(xié)調(diào)能力。

對(duì)于數(shù)據(jù)挖掘工程師，和人溝通技術(shù)方面內(nèi)容偏多，業(yè)務(wù)方面相對(duì)少一些，對(duì)溝通協(xié)調(diào)的要求也相對(duì)低一些。

快速學(xué)習(xí)

無(wú)論做數(shù)據(jù)分析的哪個(gè)方向，初級(jí)還是高級(jí)，都需要有快速學(xué)習(xí)的能力，學(xué)業(yè)務(wù)邏輯、學(xué)行業(yè)知識(shí)、學(xué)技術(shù)工具、學(xué)分析框架……數(shù)據(jù)分析領(lǐng)域中有學(xué)不完的內(nèi)容，需要大家有一顆時(shí)刻不忘學(xué)習(xí)的心。

數(shù)據(jù)分析師的工具體系

一圖說(shuō)明問(wèn)題

可以從圖上看到，Python在數(shù)據(jù)分析中的泛用性相當(dāng)之高，流程中的各個(gè)階段都可以使用Python。所以作為數(shù)據(jù)分析師的你如果需要學(xué)習(xí)一門編程語(yǔ)言，那么強(qiáng)力推薦Python～

Hadoop家族產(chǎn)品技術(shù)介紹:

Apache Hadoop: 是Apache開(kāi)源組織的一個(gè)分布式計(jì)算開(kāi)源框架，提供了一個(gè)分布式文件系統(tǒng)子項(xiàng)目(HDFS)和支持MapReduce分布式計(jì)算的軟件架構(gòu)。

Apache Hive: 是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開(kāi)發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。

Apache Pig: 是一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析工具，它提供的SQL-LIKE語(yǔ)言叫Pig Latin，該語(yǔ)言的編譯器會(huì)把類SQL的數(shù)據(jù)分析請(qǐng)求轉(zhuǎn)換為一系列經(jīng)過(guò)優(yōu)化處理的MapReduce運(yùn)算。

Apache HBase: 是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

Apache Sqoop: 是一個(gè)用來(lái)將Hadoop和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。

Apache Zookeeper: 是一個(gè)為分布式應(yīng)用所設(shè)計(jì)的分布的、開(kāi)源的協(xié)調(diào)服務(wù)，它主要是用來(lái)解決分布式應(yīng)用中經(jīng)常遇到的一些數(shù)據(jù)管理問(wèn)題，簡(jiǎn)化分布式應(yīng)用協(xié)調(diào)及其管理的難度，提供高性能的分布式服務(wù)

Apache Mahout:是基于Hadoop的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的一個(gè)分布式框架。Mahout用MapReduce實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)挖掘算法，解決了并行挖掘的問(wèn)題。

Apache Cassandra:是一套開(kāi)源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。它最初由Facebook開(kāi)發(fā)，用于儲(chǔ)存簡(jiǎn)單格式數(shù)據(jù)，集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布式的架構(gòu)于一身

Apache Avro: 是一個(gè)數(shù)據(jù)序列化系統(tǒng)，設(shè)計(jì)用于支持?jǐn)?shù)據(jù)密集型，大批量數(shù)據(jù)交換的應(yīng)用。Avro是新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制

Apache Ambari: 是一種基于Web的工具，支持Hadoop集群的供應(yīng)、管理和監(jiān)控。

Apache Chukwa: 是一個(gè)開(kāi)源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，它可以將各種各樣類型的數(shù)據(jù)收集成適合 Hadoop 處理的文件保存在 HDFS 中供 Hadoop 進(jìn)行各種 MapReduce 操作。

Apache Hama: 是一個(gè)基于HDFS的BSP（Bulk Synchronous Parallel)并行計(jì)算框架, Hama可用于包括圖、矩陣和網(wǎng)絡(luò)算法在內(nèi)的大規(guī)模、大數(shù)據(jù)計(jì)算。

Apache Flume: 是一個(gè)分布的、可靠的、高可用的海量日志聚合的系統(tǒng)，可用于日志數(shù)據(jù)收集，日志數(shù)據(jù)處理，日志數(shù)據(jù)傳輸。

Apache Giraph: 是一個(gè)可伸縮的分布式迭代圖處理系統(tǒng)， 基于Hadoop平臺(tái)，靈感來(lái)自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。

Apache Oozie: 是一個(gè)工作流引擎服務(wù)器, 用于管理和協(xié)調(diào)運(yùn)行在Hadoop平臺(tái)上（HDFS、Pig和MapReduce）的任務(wù)。

Apache Crunch: 是基于Google的FlumeJava庫(kù)編寫的Java庫(kù)，用于創(chuàng)建MapReduce程序。與Hive，Pig類似，Crunch提供了用于實(shí)現(xiàn)如連接數(shù)據(jù)、執(zhí)行聚合和排序記錄等常見(jiàn)任務(wù)的模式庫(kù)

Apache Whirr: 是一套運(yùn)行于云服務(wù)的類庫(kù)（包括Hadoop），可提供高度的互補(bǔ)性。Whirr學(xué)支持Amazon EC2和Rackspace的服務(wù)。

Apache Bigtop: 是一個(gè)對(duì)Hadoop及其周邊生態(tài)進(jìn)行打包，分發(fā)和測(cè)試的工具。

Apache HCatalog: 是基于Hadoop的數(shù)據(jù)表和存儲(chǔ)管理，實(shí)現(xiàn)中央的元數(shù)據(jù)和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供關(guān)系視圖。

Cloudera Hue: 是一個(gè)基于WEB的監(jiān)控和管理系統(tǒng)，實(shí)現(xiàn)對(duì)HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

當(dāng)前名稱：大數(shù)據(jù)要學(xué)習(xí)什么知識(shí)？大數(shù)據(jù)學(xué)習(xí)的內(nèi)容有哪些？
瀏覽路徑：http://jinyejixie.com/news21/98571.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、建站公司、定制網(wǎng)站、企業(yè)建站、移動(dòng)網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)