圍繞云計(jì)算相關(guān)的技術(shù)領(lǐng)域、技術(shù)名詞和技術(shù)產(chǎn)品令人眼花繚亂。在云計(jì)算發(fā)端之初，應(yīng)用開發(fā)環(huán)境還比較簡單，當(dāng)時(shí)還有所謂的全棧工程師存在，意味著如果不考慮開發(fā)周期，一個(gè)人就能搞定整個(gè)應(yīng)用軟件。今天，這個(gè)稱謂已經(jīng)名不符實(shí)。很少再有一個(gè)人，甚至一個(gè)企業(yè)能夠全面掌握和云計(jì)算有關(guān)的所有技術(shù)棧。他們可能會(huì)應(yīng)用旁人完成的一些成果，結(jié)合自有的一些專有經(jīng)驗(yàn)，來形成在某個(gè)細(xì)分市場有競爭力的產(chǎn)品，或者為客戶交付期望的產(chǎn)出。

即使作為純粹的應(yīng)用者，要想全面了解和云計(jì)算有關(guān)的技術(shù)，做到合理架構(gòu)，恰當(dāng)選型，順利完成集成開發(fā)和部署的全過程，也都比過去難得多，需要的技術(shù)人才也比過去昂貴。坦率來說，在當(dāng)下的人才競爭度下，一般行業(yè)的企業(yè)，即使擁有信息部門，也都不太可能獨(dú)立駕馭這樣復(fù)雜的開發(fā)設(shè)施，他們將不得不廣泛依賴云計(jì)算平臺(tái)提供的服務(wù)。這給軟件行業(yè)的解決方案商帶來了新的市場機(jī)會(huì)。誰能夠?yàn)閿?shù)字化轉(zhuǎn)型企業(yè)提供友好的應(yīng)用開發(fā)和部署環(huán)境，誰就能夠獲得和保有客戶。

這篇長文主要面向大中型企業(yè)的技術(shù)和非技術(shù)管理者。我通過描繪云計(jì)算技術(shù)和市場領(lǐng)域的發(fā)展過程，介紹關(guān)鍵技術(shù)和市場里程碑，包括不同技術(shù)域下的核心開源項(xiàng)目，讓企業(yè)能夠?qū)υ朴?jì)算發(fā)展歷史和相關(guān)技術(shù)域有一個(gè)通盤的了解。有了通盤的認(rèn)知，你會(huì)更容易看透本企業(yè)應(yīng)該怎樣利用云計(jì)算，未來可能的市場機(jī)會(huì)和挑戰(zhàn)在哪里?

本文受到Tom Siebel 2019年出版的Digital Transformation一書的啟發(fā)，但我盡量結(jié)合了中國市場的實(shí)際情況通俗地來講述。

云計(jì)算市場的形成和結(jié)構(gòu)

我們今天能夠享受經(jīng)濟(jì)和便捷的云計(jì)算服務(wù)，主要來自兩大動(dòng)力，一是計(jì)算資源的虛擬化技術(shù)，二則是規(guī)模經(jīng)濟(jì)效應(yīng)。前者發(fā)端于2000年后VMWare推出的Hypervisor虛擬化軟件，它不再依賴一個(gè)母體操作系統(tǒng)，就允許用戶將硬件和網(wǎng)絡(luò)資源劃分成多個(gè)單元，從而實(shí)現(xiàn)計(jì)算資源的池化、共享和按需調(diào)度。

2006年，Amazon推出了S3對象存儲(chǔ)服務(wù)和SQS簡單隊(duì)列服務(wù)，開創(chuàng)了公共云計(jì)算服務(wù)的先河。在此后，微軟，IBM，谷歌，中國的阿里，騰訊和華為等都陸續(xù)加入了公共云服務(wù)的市場，提供的服務(wù)也從基礎(chǔ)計(jì)算資源擴(kuò)展到數(shù)據(jù)庫、人工智能、物聯(lián)網(wǎng)等多個(gè)技術(shù)領(lǐng)域。目前，這個(gè)行業(yè)已經(jīng)成長為年收入2500億美元的巨大市場。

在這十多年的發(fā)展過程中，當(dāng)然出現(xiàn)了很多的公司，產(chǎn)品和服務(wù)，但是概括起來這些事物的涌現(xiàn)基本沿著兩條明顯的路線在進(jìn)行：

趨勢一：從基礎(chǔ)設(shè)施，到應(yīng)用，再到應(yīng)用相關(guān)的平臺(tái)服務(wù)

基礎(chǔ)云 (Infrastructure as a Service)

最早的云計(jì)算服務(wù)就是最基礎(chǔ)的云主機(jī)(Virtual Machine)，服務(wù)商把裸金屬裝上Hypervisor，把計(jì)算和網(wǎng)絡(luò)資源分塊后就可以賣了。隨后，基礎(chǔ)服務(wù)被拆分為主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫和安全等幾個(gè)重要的基礎(chǔ)云產(chǎn)品，允許用戶靈活組合，并實(shí)現(xiàn)了彈性計(jì)費(fèi)(目前國外基礎(chǔ)云廠商大多都提供按分鐘或按秒的計(jì)費(fèi)精度，存儲(chǔ)則可以按月計(jì)費(fèi)，比如AWS的S3服務(wù)每GB數(shù)據(jù)的標(biāo)準(zhǔn)存儲(chǔ)月費(fèi)在0.0125美元，而深度歸檔存儲(chǔ)的每GB月費(fèi)可以低至每GB0.001美元)。

我們一般把主機(jī)，存儲(chǔ)，網(wǎng)絡(luò)，數(shù)據(jù)庫和安全相關(guān)的計(jì)算服務(wù)統(tǒng)稱為基礎(chǔ)云服務(wù)。在這些服務(wù)之上，開發(fā)者需要完成所有的技術(shù)棧搭建，構(gòu)建自己的數(shù)據(jù)架構(gòu)，開發(fā)編碼，部署運(yùn)維，最終才能實(shí)現(xiàn)云端應(yīng)用。而初代的云計(jì)算客戶大多數(shù)都是互聯(lián)網(wǎng)公司。他們并非云服務(wù)的最終消費(fèi)者，而是生產(chǎn)者。

應(yīng)用即服務(wù)(Software as a Service)

和Amazon Web Services幾乎同時(shí)起步的另外一家公司Dropbox是一家面向個(gè)人和團(tuán)隊(duì)提供文件存儲(chǔ)和共享服務(wù)的創(chuàng)業(yè)公司。趕上了AWS起步的時(shí)候，Dropbox就直接使用了AWS現(xiàn)成的S3對象存儲(chǔ)服務(wù)，這讓一家團(tuán)隊(duì)人數(shù)很小的初創(chuàng)公司有機(jī)會(huì)能夠聚焦在應(yīng)用開發(fā)和營銷上，讓Dropbox通過短短的幾年時(shí)間發(fā)展成市場份額第一的文件共享應(yīng)用。和Dropbox類似的大票SaaS企業(yè)大多也都是在隨后的十年內(nèi)陸續(xù)出現(xiàn)，他們千篇一律都使用了云計(jì)算平臺(tái)的服務(wù)，而不再自建基礎(chǔ)設(shè)施。這當(dāng)中也包括一個(gè)超級(jí)大用戶“奈飛“(Netflix)，他們的下行流量占到整個(gè)互聯(lián)網(wǎng)下行流量的15%之多，也是AWS的客戶。

我們創(chuàng)辦的明道協(xié)作應(yīng)用誕生在2011年，也正好趕上了中國云計(jì)算平臺(tái)開始的年份，所以我們也避免了很多基礎(chǔ)設(shè)施的建設(shè)工作。廣義來說，最早的云服務(wù)在基礎(chǔ)云公司之前就出現(xiàn)了。1999年創(chuàng)辦的Salesforce，就是一個(gè)典型的SaaS公司，只不過當(dāng)年沒有這樣的行業(yè)術(shù)語。2016年，據(jù)說Salesforce也已經(jīng)成為了AWS的客戶。因?yàn)镾aaS服務(wù)形式的存在，使得云計(jì)算能夠間接提供服務(wù)給大量的中小企業(yè)和非互聯(lián)網(wǎng)行業(yè)企業(yè)。今天，幾乎所有的企業(yè)都或多或少應(yīng)用一些SaaS服務(wù)。

云計(jì)算市場發(fā)展的第一波主要由互聯(lián)網(wǎng)企業(yè)用戶帶動(dòng)。他們具備比較完整的開發(fā)和自助運(yùn)維能力，而且也有日益增長的用量，屬于基礎(chǔ)云服務(wù)最理想的客戶群體。直到今天，阿里云和騰訊云的主要客戶群體依然是泛互聯(lián)網(wǎng)行業(yè)。

SaaS企業(yè)是云計(jì)算基礎(chǔ)服務(wù)的重要推動(dòng)者，雖然這個(gè)門類和2C的網(wǎng)絡(luò)服務(wù)相比，貢獻(xiàn)的經(jīng)濟(jì)價(jià)值要小得多，但是他們深諳企業(yè)市場的需求，推動(dòng)了云計(jì)算平臺(tái)的應(yīng)用開發(fā)環(huán)境日益成熟。這就是趨勢的下一步：平臺(tái)即服務(wù)。

(開發(fā))平臺(tái)即服務(wù)(Platform as a Service)

所謂平臺(tái)即服務(wù)，特指開發(fā)平臺(tái)。應(yīng)用開發(fā)工作從本地遷移到云端，自然需要在云計(jì)算環(huán)境中提供對應(yīng)的更優(yōu)解決方案。所以過去傳統(tǒng)的中間件市場陸續(xù)發(fā)生變遷，逐一轉(zhuǎn)換為在云計(jì)算平臺(tái)上的某項(xiàng)服務(wù)。比較常見的開發(fā)平臺(tái)服務(wù)包括：

通訊：提供音視頻通信、消息推送、短信、郵件等服務(wù)

地理信息：提供地圖、定位、導(dǎo)航相關(guān)的服務(wù)

應(yīng)用開發(fā)框架：提供應(yīng)用開發(fā)環(huán)境和運(yùn)行時(shí)環(huán)境

媒體服務(wù)：提供圖片和音視頻等媒體文件的編碼、加工和存儲(chǔ)服務(wù)

機(jī)器學(xué)習(xí)框架：提供面向AI應(yīng)用開發(fā)者的機(jī)器學(xué)習(xí)數(shù)據(jù)標(biāo)注和模型訓(xùn)練平臺(tái)

小到發(fā)送一條驗(yàn)證碼短信也是一項(xiàng)PaaS服務(wù)。

作為PaaS服務(wù)，主要是為開發(fā)者服務(wù)的，所以除了功能性服務(wù)以外，PaaS廠商也要提供開發(fā)友好性相關(guān)的周邊能力，比如彈性擴(kuò)展的能力，調(diào)試和控制權(quán)限的能力等。參與的開發(fā)者越多，一項(xiàng)PaaS服務(wù)就能夠有更多的改進(jìn)機(jī)會(huì)和攤低的平均成本。

PaaS服務(wù)是不是一定由獨(dú)立的PaaS廠商來提供呢?不一定。實(shí)際上，主流的PaaS服務(wù)大多被IaaS公司所覆蓋了。如果你打開阿里云的產(chǎn)品列表，在數(shù)百個(gè)產(chǎn)品中，你會(huì)發(fā)現(xiàn)基礎(chǔ)云服務(wù)只是其中一個(gè)門類，其他十幾個(gè)門類都是和開發(fā)環(huán)境有關(guān)的服務(wù)。這意味著，一家創(chuàng)業(yè)公司想要獨(dú)立成為一家成功的PaaS廠商，需要相當(dāng)聚焦地執(zhí)行，而且產(chǎn)品有明顯的技術(shù)度。一旦做到這一點(diǎn)，也不用擔(dān)心和基礎(chǔ)云公司的競爭，因?yàn)槲液竺鏁?huì)講到云計(jì)算市場的技術(shù)發(fā)展，其中已經(jīng)有眾多的技術(shù)趨勢保障了獨(dú)立性PaaS公司建立跨云服務(wù)的獨(dú)特優(yōu)勢。

以上說的是云計(jì)算服務(wù)過去十五年發(fā)展中的一條脈絡(luò)，從基礎(chǔ)云到應(yīng)用的共生，再到日益豐富的開發(fā)平臺(tái)即服務(wù)。云計(jì)算覆蓋的用戶越來越多，依賴的是這三個(gè)層次的服務(wù)互為補(bǔ)充。

趨勢二：從公共云、私有云到混合云，再到多云

第二條脈絡(luò)有關(guān)云計(jì)算服務(wù)的部署模式(Deployment Model)。當(dāng)云計(jì)算概念被提出時(shí)，它顯然指的就是公共云服務(wù)，客戶不需要保有任何基礎(chǔ)設(shè)施，直接像水電煤一樣使用云計(jì)算資源就可以。但是商業(yè)的現(xiàn)實(shí)和技術(shù)企業(yè)的理想之間總是存在溝壑。云計(jì)算到底是技術(shù)還是服務(wù)，在很長一段時(shí)間內(nèi)是缺乏共識(shí)的。

在云計(jì)算服務(wù)開啟之前，很多大型企業(yè)和組織都有自己的服務(wù)器。2010年，全球服務(wù)器市場就有500億美元的規(guī)模，這些服務(wù)器大多數(shù)都賣給了企業(yè)和政府。企業(yè)擁有了這些基礎(chǔ)設(shè)施，難道再花錢買公共云服務(wù)嗎?既然云計(jì)算技術(shù)這么好，為什么我自己來實(shí)現(xiàn)呢?政府、金融、醫(yī)藥等行業(yè)客戶更加不可能在公共云計(jì)算服務(wù)誕生的初期就義無反顧地采納，他們有各種各樣所謂的合規(guī)要求。

私有云 (Private Cloud)

果不其然，有需求就有供給。2010年Rackspace和NASA公開了一個(gè)叫做OpenStack的開源項(xiàng)目組。它包含了一系列用于構(gòu)筑云計(jì)算服務(wù)的開源軟件。這意味著，所有擁有硬件基礎(chǔ)設(shè)施的用戶都可以用很低的成本來實(shí)現(xiàn)和AWS類似的技術(shù)架構(gòu)。Rackspace是一家IDC公司，它這么做的動(dòng)力顯然是很強(qiáng)的。它認(rèn)為只要幫助客戶解決虛擬化問題，自己的主機(jī)托管生意一樣可以興旺發(fā)達(dá)。

雖然軟件是開源免費(fèi)的，但是要實(shí)施Open Stack依然需要云計(jì)算相關(guān)的專業(yè)知識(shí)。因此，從2010年開始，出現(xiàn)了很多基于OpenStack幫助企業(yè)建立私有云的服務(wù)商。在國內(nèi)，公共云服務(wù)商甚至都提供過這類服務(wù)。十年過去了，這股由OpenStack帶起的私有云風(fēng)潮基本告一段落。除了極少數(shù)大型用戶在經(jīng)濟(jì)上能夠承受自己維護(hù)獨(dú)立的云計(jì)算平臺(tái)，絕大多數(shù)用戶根本無法得到經(jīng)濟(jì)上合理的回報(bào)。虛擬化只是云計(jì)算服務(wù)的一個(gè)技術(shù)前提，但并非所有的價(jià)值。私有云方案永遠(yuǎn)無法利用到資源彈性利用(可大可小)和真正的規(guī)模經(jīng)濟(jì)效應(yīng)，除非用戶根本不關(guān)切經(jīng)濟(jì)理性。

在中國市場，重點(diǎn)行業(yè)可能至今依然無法使用商業(yè)云服務(wù)，但是電信運(yùn)營商和一些國家級(jí)的科技企業(yè)也在公共云服務(wù)商的幫助下建立了各種行業(yè)云。比如移動(dòng)云，聯(lián)通云和電信天翼云都是這樣形成的，他們?yōu)榻鹑?、政府、交通、教育等重點(diǎn)行業(yè)提供公共云服務(wù)。

故事到這里，似乎公共云已經(jīng)大獲全勝。但是，商業(yè)現(xiàn)實(shí)又回來了。在越來越同質(zhì)化的云計(jì)算服務(wù)市場，客戶難道完全沒有議價(jià)能力嗎?客戶的需求如果不能得到滿足，總有供應(yīng)商會(huì)愿意創(chuàng)新。于是混合云(Hybrid Cloud)出場了。

混合云 (Hybrid Cloud)

其實(shí)混合云并不是什么獨(dú)特的云計(jì)算技術(shù)，它實(shí)質(zhì)上是一組通訊服務(wù)。只要堆上足夠好的網(wǎng)絡(luò)設(shè)備和奢侈的專線連接，世界上任何地點(diǎn)的計(jì)算設(shè)備都可以組成高速專網(wǎng)。即便客戶預(yù)算有限，只要對安全性和連通性的要求沒有那么高，也可以自助搭建經(jīng)濟(jì)的網(wǎng)絡(luò)。圍繞通過商業(yè)網(wǎng)絡(luò)連接組建混合云的技術(shù)被稱之為“SD-WAN”(軟件定義廣域網(wǎng))。有了網(wǎng)絡(luò)連接，就可以把客戶自有的計(jì)算設(shè)施和公共云計(jì)算設(shè)施連接在一起，稱之為“混合云”。

混合云對客戶的好處是明顯的。首先，每個(gè)企業(yè)都可能有云計(jì)算基礎(chǔ)用量，但也可能有短期的激增需求。有了混合云，客戶就可以圍繞自己的基礎(chǔ)用量采購自有IT資產(chǎn)，自己運(yùn)營私有云，而短期波動(dòng)的增量則可以通過公共云服務(wù)滿足，等需求高峰過去，就可以去掉這部分的開支。企業(yè)也可以將運(yùn)維難度比較低的基礎(chǔ)云服務(wù)保留在自己的設(shè)施內(nèi)，而同時(shí)使用公共云提供的復(fù)雜計(jì)算服務(wù)，比如機(jī)器學(xué)習(xí)平臺(tái)等。Dropbox是一個(gè)大規(guī)模的SaaS應(yīng)用，它在2016年做了很大的架構(gòu)調(diào)整，大部分的服務(wù)不再使用AWS的公共云，一舉節(jié)省了7000萬美元的年度云計(jì)算開銷。

混合云策略現(xiàn)在已經(jīng)得到了廠商和客戶的雙重支持，它終結(jié)了公共云和私有云非黑即白的爭議，讓整個(gè)IT產(chǎn)業(yè)更加務(wù)實(shí)。這其中也誕生了很多的商業(yè)機(jī)會(huì)。微軟，亞馬遜，IBM，Google等的云計(jì)算廠商都推出了自己的混合云解決方案。因?yàn)榛旌显品桨钢髁骰?，云?jì)算廠商的競爭開始從基礎(chǔ)云資源的成本向應(yīng)用開發(fā)生態(tài)環(huán)境遷移。因?yàn)樵诨旌显萍軜?gòu)下，客戶面臨如何規(guī)劃流暢的數(shù)據(jù)連接，如何快速交付云原生應(yīng)用的新挑戰(zhàn)。所以，云計(jì)算的終極競爭不是硬件的競爭，也不是軟件的競爭，而是應(yīng)用開發(fā)和部署(AD&D)環(huán)境的競爭。

多云 (Multi-Cloud)

多云概念是云計(jì)算市場最近幾年出現(xiàn)的概念。它把所有的云計(jì)算平臺(tái)，客戶的私有云設(shè)施全部視作一般基礎(chǔ)設(shè)施。所有的應(yīng)用在所有的云上都能一致并可靠地運(yùn)行。多云解決方案不僅是基礎(chǔ)設(shè)施提供者需要協(xié)調(diào)的，更重要的是應(yīng)用開發(fā)和部署要面向多云運(yùn)行目標(biāo)。

2013年，Y Combinator孵化企業(yè)Docker Inc開源了Docker項(xiàng)目。它成為應(yīng)用跨云部署的重要前提。Docker允許用戶將復(fù)雜的應(yīng)用、數(shù)據(jù)和依賴的環(huán)境，包括操作系統(tǒng)本身打包到一個(gè)“容器”中，通過標(biāo)準(zhǔn)的Docker引擎，在任何計(jì)算環(huán)境中都可以一致地運(yùn)行。有了這項(xiàng)技術(shù)，把一個(gè)應(yīng)用系統(tǒng)從阿里云轉(zhuǎn)移到騰訊云就和傳輸一個(gè)文件一樣簡單，云和云之間已經(jīng)沒有邊界。為什么Windows和mac OS的應(yīng)用永遠(yuǎn)不兼容，而云計(jì)算廠商卻眼睜睜地看著這些事情發(fā)生呢?很簡單，因?yàn)檎麄€(gè)云計(jì)算技術(shù)生態(tài)都建立在開源軟件上，亞馬遜再大，它也只是一個(gè)服務(wù)提供者，收的是租金。而客戶方，則越來越看重自主可控性，他們不希望被單一的云計(jì)算公司鎖定，畢竟自己的客戶和交易數(shù)據(jù)都運(yùn)行在云計(jì)算上，它是所有企業(yè)的命脈了。

2015年，Google開源了Kubernates項(xiàng)目，讓多云解決方案更勝一籌。K8S能夠?qū)θ萜鞯膭?chuàng)建、擴(kuò)展等進(jìn)行自動(dòng)編排。這意味著無論應(yīng)用有多么復(fù)雜，它都能夠在多云環(huán)境中進(jìn)行統(tǒng)一運(yùn)維。比如自家的某種類型存儲(chǔ)用完了，就可以臨時(shí)購買一些亞馬遜的存儲(chǔ)。數(shù)據(jù)過時(shí)了，就定期自動(dòng)地轉(zhuǎn)移到低價(jià)格的冷存服務(wù)中。

有了多云技術(shù)框架和服務(wù)，同時(shí)意味著云計(jì)算平臺(tái)必須提供廣泛支持。阿里云當(dāng)然希望多賣一些云主機(jī)服務(wù)，但是如果因?yàn)榧夹g(shù)框架落后，客戶就會(huì)流失。所以，全世界的云計(jì)算平臺(tái)目前都義無反顧地支持了多云策略，希望在這個(gè)過程中繼續(xù)以專業(yè)服務(wù)商的地位存在。

多云策略對應(yīng)用開發(fā)者的影響也很大。首先開發(fā)者必須從第一天就按照云計(jì)算環(huán)境來規(guī)劃，支持多云部署，自動(dòng)伸縮，采用微服務(wù)架構(gòu)以實(shí)現(xiàn)容器部署。其次，應(yīng)用開發(fā)者也能夠從這樣的架構(gòu)中受益。因?yàn)樗沟每蛻臬@得私有軟件也像應(yīng)用SaaS一樣簡單，唯獨(dú)不同的是應(yīng)用和數(shù)據(jù)運(yùn)行在客戶控制的計(jì)算環(huán)境中，但是軟件本身都是基于單一代碼庫的(Single Code Base)。我們明道云原來是一個(gè)SaaS形態(tài)應(yīng)用，客戶只需要在mingdao.com上注冊即可使用，現(xiàn)在，通過容器技術(shù)，我們的客戶也可以在自己的云計(jì)算環(huán)境中安裝和升級(jí)。這些都有賴于多云技術(shù)架構(gòu)。

前面我們提到了云計(jì)算公司的競爭將向應(yīng)用開發(fā)和部署環(huán)境遷移。那么它具體指的是什么呢?它有關(guān)于圍繞云計(jì)算相關(guān)的四個(gè)技術(shù)領(lǐng)域。Tom Siebel把他們概括為云計(jì)算本身、大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)。

接下來，我們會(huì)逐一介紹這十五年來，伴隨云計(jì)算發(fā)展起來的數(shù)字化技術(shù)領(lǐng)域。正是因?yàn)樵朴?jì)算服務(wù)的普及，才催化了這些新興的技術(shù)領(lǐng)域，反過來，這些技術(shù)領(lǐng)域的發(fā)展也讓現(xiàn)代云服務(wù)更加完善，當(dāng)然也更加復(fù)雜。正是這些復(fù)雜性，讓企業(yè)數(shù)字化轉(zhuǎn)型工作變得阻力重重。相較于更早前的基礎(chǔ)信息化工作，企業(yè)屆要認(rèn)知和掌握的技術(shù)范疇要比寬廣得多。因此，我們介紹云計(jì)算的發(fā)展簡史，就必須要把關(guān)聯(lián)技術(shù)域的發(fā)展也一并介紹。

云計(jì)算相關(guān)的技術(shù)領(lǐng)域 大數(shù)據(jù)(Big Data)

在大數(shù)據(jù)概念出現(xiàn)之前，數(shù)據(jù)存儲(chǔ)、處理和分析的技術(shù)早已存在。隨著存儲(chǔ)成本的下降和云計(jì)算提供的彈性計(jì)算能力增強(qiáng)，越來越多的數(shù)據(jù)場景已經(jīng)不能被傳統(tǒng)的數(shù)據(jù)庫技術(shù)所處理。這些新場景可以被概括為高數(shù)據(jù)量(Volume)，高頻度(Velocity)和多數(shù)據(jù)類型(Variety)三個(gè)特點(diǎn)。比如在電子商務(wù)、金融和物聯(lián)網(wǎng)領(lǐng)域，系統(tǒng)往往在很短的時(shí)間內(nèi)會(huì)產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)甚至在存儲(chǔ)的過程中就會(huì)產(chǎn)生瓶頸，更不用說實(shí)時(shí)性很強(qiáng)的計(jì)算和分析。所以，從搜索引擎時(shí)代開始，大數(shù)據(jù)相關(guān)的技術(shù)就開始孕育。

MapReduce和Hadoop

搜索引擎的霸主Google成立于1998年，幾年以后，Google的搜索服務(wù)所承載的數(shù)據(jù)量已經(jīng)是一個(gè)天文數(shù)字，而且還在以光速增加。傳統(tǒng)的數(shù)據(jù)處理技術(shù)完全依賴硬件算力的鋪陳，這會(huì)讓Google在未來的發(fā)展中不堪重負(fù)。2004年，Google在內(nèi)部推出了GFS分布式文件系統(tǒng)和分布式計(jì)算框架MapReduce。前者解決了單一硬件資源的限制，后者通過一系列數(shù)學(xué)原理，將多類型的數(shù)據(jù)進(jìn)行切片并分散存儲(chǔ)在特定的分區(qū)中，這個(gè)設(shè)計(jì)能夠讓未來的計(jì)算和分析大幅提效。MapReduce的技術(shù)原理是大數(shù)據(jù)技術(shù)發(fā)展的最重要基礎(chǔ)。

很快，開源軟件領(lǐng)域開始響應(yīng)這項(xiàng)技術(shù)方案，Lucene項(xiàng)目創(chuàng)始人Doug Cutting在2006年正式獨(dú)立出Hadoop開源項(xiàng)目，在其中包括了分布式文件系統(tǒng)，在集群資源上的調(diào)度工具，以及最核心的大數(shù)據(jù)并行處理開發(fā)框架。有了Hadoop以后，那些面對海量數(shù)據(jù)分析難題行業(yè)從此有了更好的解決方案。只是在2006年前后，主要的應(yīng)用行業(yè)還是互聯(lián)網(wǎng)行業(yè)本身。Yahoo，

中國的百度等都很快應(yīng)用了Hadoop來解決海量數(shù)據(jù)的存儲(chǔ)和檢索問題。

Hive，Spark和流式計(jì)算

在隨后的幾年中，Hadoop相關(guān)的大數(shù)據(jù)處理技術(shù)繼續(xù)得到增強(qiáng)。Facebook開源的Hive分析工具用更高層和抽象的語言來描述算法和數(shù)據(jù)處理流程，能夠用SQL語句進(jìn)行大數(shù)據(jù)分析，這大大降低了使用者門檻，也提升了大數(shù)據(jù)技術(shù)的應(yīng)用效率。不要小看這項(xiàng)改進(jìn)，它讓全世界大多數(shù)現(xiàn)有的數(shù)據(jù)分析人員可以輕易掌握大數(shù)據(jù)技術(shù)。

2009年，加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室開發(fā)了Spark開源集群計(jì)算框架，通過完善API和庫，提供更完善的能力和通用性。而且Spark的特色是能夠?qū)?shù)據(jù)存儲(chǔ)在內(nèi)存中，所以數(shù)據(jù)處理和查詢效率要比利用硬盤存儲(chǔ)的MapReduce框架快百倍。目前，Spark已經(jīng)加入Apache Software Foundation，成為Apache開源項(xiàng)目中的明星項(xiàng)目，被大數(shù)據(jù)技術(shù)領(lǐng)域作為最重要的工具框架。

至此為止的技術(shù)?；窘鉀Q了針對海量數(shù)據(jù)批量進(jìn)行處理和分析的需求。比如零售業(yè)企業(yè)如果需要研究顧客和交易數(shù)據(jù)，從而對顧客群進(jìn)行特征細(xì)分，這些技術(shù)就足夠了。但是，數(shù)字化技術(shù)的發(fā)展總是會(huì)刺激出更高級(jí)的需求。比如，在線上零售中，商品和顧客的行為數(shù)據(jù)是永續(xù)不斷在發(fā)生的，我們希望在數(shù)據(jù)發(fā)生的時(shí)刻就立即進(jìn)行計(jì)算，及時(shí)地給顧客推送一張個(gè)性化的優(yōu)惠券，而不是定時(shí)進(jìn)行某種批量計(jì)算，這時(shí)候就需要大數(shù)據(jù)技術(shù)的一個(gè)分支—流式計(jì)算。

流式計(jì)算的常用框架包括Storm和Spark Stream和Flink，他們在零售和電子商務(wù)行業(yè)中的交易分析、金融風(fēng)控、物聯(lián)網(wǎng)中的態(tài)勢監(jiān)控、車聯(lián)網(wǎng)中的自動(dòng)駕駛等領(lǐng)域都被廣泛應(yīng)用。2019年，阿里巴巴用1億美元收購了Flink，是因?yàn)槲覀冇玫奶詫毺熵堉械乃阉?、商品推薦，包括雙11的實(shí)時(shí)監(jiān)控大屏數(shù)據(jù)都是由Flink來驅(qū)動(dòng)的。Flink用幾乎無延遲的速度截獲雙十一最后一秒鐘結(jié)束后的GMV數(shù)值，可見它在實(shí)時(shí)處理數(shù)據(jù)方面的性能。

NoSQL數(shù)據(jù)庫

與大數(shù)據(jù)技術(shù)同步發(fā)展的還包括NoSQL(非關(guān)系型)數(shù)據(jù)庫市場。在上個(gè)世紀(jì)，大多數(shù)商業(yè)數(shù)據(jù)庫都是關(guān)系數(shù)據(jù)庫，通過SQL語言進(jìn)行數(shù)據(jù)處理和查詢。當(dāng)大數(shù)據(jù)技術(shù)發(fā)展起來后，技術(shù)專家們發(fā)現(xiàn)數(shù)據(jù)庫完全可以用不同的形態(tài)來存儲(chǔ)數(shù)據(jù)，這樣可以大幅減少數(shù)據(jù)分析過程中的預(yù)處理工作量。所以，從2009前后開始，各種NoSQL數(shù)據(jù)庫開始進(jìn)入市場。

下圖是維基百科上針對NoSQL數(shù)據(jù)庫類型的分類方法：

讀者可以忽略其中的細(xì)節(jié)技術(shù)語言，只需要了解不同類型的NoSQL數(shù)據(jù)庫會(huì)有利于特定場景的應(yīng)用開發(fā)。比如文檔數(shù)據(jù)庫采用JSON格式存儲(chǔ)，可以隨心所欲定義不同的數(shù)據(jù)結(jié)構(gòu)，而且橫向擴(kuò)展性很強(qiáng)(數(shù)據(jù)規(guī)模增大后可以保證查詢效率)。我們明道云的工作表就是利用了文檔數(shù)據(jù)庫MongoDB作為存儲(chǔ)方案。

NoSQL數(shù)據(jù)庫普遍支持分布式文件系統(tǒng)，所以都具備很強(qiáng)橫向擴(kuò)展性。和關(guān)系數(shù)據(jù)庫相比，NoSQL數(shù)據(jù)庫大多不具備事務(wù)一致性，但是這個(gè)犧牲交換得到數(shù)據(jù)處理的效率，因而作為大數(shù)據(jù)技術(shù)相關(guān)的常見存儲(chǔ)方案。

云計(jì)算平臺(tái)上的大數(shù)據(jù)服務(wù)

以上我們介紹了大數(shù)據(jù)技術(shù)發(fā)展依賴的各個(gè)重要技術(shù)棧。很顯然，和傳統(tǒng)的應(yīng)用開發(fā)相比，大數(shù)據(jù)技術(shù)相對更加復(fù)雜。它不僅涉及復(fù)雜的編程框架，還需要一個(gè)專業(yè)的運(yùn)維體系。這使得大部分普通企業(yè)用戶很難自己來搭建大數(shù)據(jù)開發(fā)環(huán)境。所以云計(jì)算平臺(tái)在基礎(chǔ)云服務(wù)之外，也開始結(jié)合云計(jì)算資源提供大數(shù)據(jù)服務(wù)。阿里云上的MaxCompute是一個(gè)全托管的大數(shù)據(jù)SaaS服務(wù)，用戶甚至無需管理主機(jī)基礎(chǔ)設(shè)施，直接按照大數(shù)據(jù)計(jì)算任務(wù)量付費(fèi)。順便說一下，這種直接將計(jì)算服務(wù)提供給開發(fā)者的模式被稱為“無服務(wù)器”(Serverless)計(jì)算，它的目的是為了簡化開發(fā)工作中的運(yùn)維任務(wù)，讓開發(fā)者聚焦在應(yīng)用開發(fā)上。不僅僅是大數(shù)據(jù)領(lǐng)域，在AI，物聯(lián)網(wǎng)等其他技術(shù)領(lǐng)域，無服務(wù)器服務(wù)模式正在日益成為主流。E-MapReduce則是一整套大數(shù)據(jù)相關(guān)的PaaS服務(wù)，用戶可以選擇利用現(xiàn)成的服務(wù)在自己控制的云主機(jī)上完成部署，客戶主要支付的是基礎(chǔ)云的資源費(fèi)用。和阿里云類似，亞馬遜AWS等其他云計(jì)算平臺(tái)也提供豐富的大數(shù)據(jù)相關(guān)平臺(tái)服務(wù)。

應(yīng)用領(lǐng)域

我們前面提到大數(shù)據(jù)技術(shù)起源于搜索引擎應(yīng)用。在隨后的十多年中，它的主要應(yīng)用場景依然還是在互聯(lián)網(wǎng)領(lǐng)域。最常見的應(yīng)用包括計(jì)算廣告(依據(jù)用戶和內(nèi)容數(shù)據(jù)動(dòng)態(tài)決定廣告投放策略和定價(jià))，內(nèi)容檢索和推薦(百度、頭條)，商品推薦和營銷活動(dòng)優(yōu)化(淘寶、拼多多)。不要小看這幾個(gè)場景，它們幾乎和互聯(lián)網(wǎng)用戶上網(wǎng)過程中的每一分秒都有關(guān)系，所以創(chuàng)造了巨大的經(jīng)濟(jì)價(jià)值。

數(shù)據(jù)的價(jià)值當(dāng)然不僅僅局限于互聯(lián)網(wǎng)行業(yè)，幾乎每個(gè)產(chǎn)業(yè)都有機(jī)會(huì)在大數(shù)據(jù)技術(shù)的幫助下發(fā)掘出數(shù)據(jù)的價(jià)值，或者改善運(yùn)營效率，或者發(fā)現(xiàn)出新的業(yè)務(wù)機(jī)會(huì)。金融行業(yè)是較早的受益者。銀行貸款業(yè)務(wù)中的風(fēng)險(xiǎn)控制、零售和結(jié)算業(yè)務(wù)中的欺詐發(fā)現(xiàn)、保險(xiǎn)業(yè)務(wù)中的精算和保單個(gè)性化定價(jià)、證券行業(yè)中的期貨定價(jià)和股價(jià)預(yù)測等都實(shí)實(shí)在在在創(chuàng)造出財(cái)富。

大數(shù)據(jù)在研究和開發(fā)領(lǐng)域也在大顯身手。在生物醫(yī)藥領(lǐng)域，大數(shù)據(jù)技術(shù)在幫助縮短藥物研發(fā)的周期和提高成功率;合成化學(xué)行業(yè)也在利用大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)來加快發(fā)現(xiàn)新材料。有人甚至認(rèn)為數(shù)據(jù)科學(xué)將成為實(shí)驗(yàn)、推演和仿真以外的一種新的科學(xué)研究方法，成為“第四范式”。

大數(shù)據(jù)在城市交通、社會(huì)治理、能源傳輸、網(wǎng)絡(luò)安全、航空航天等領(lǐng)域也都已經(jīng)有了現(xiàn)實(shí)的應(yīng)用。但在這些資本投入密集的領(lǐng)域之外，大數(shù)據(jù)在一般行業(yè)和企業(yè)中的應(yīng)用依然道路曲折。這不是因?yàn)榇髷?shù)據(jù)技術(shù)不夠完善，而是諸多行業(yè)尚未能夠明確抽象出大數(shù)據(jù)應(yīng)用的價(jià)值以及可付諸實(shí)施的方法論。正如前面提到的，云計(jì)算和大數(shù)據(jù)對于普通中小企業(yè)來說依然是一個(gè)模糊的技術(shù)工具，一般企業(yè)也很難雇傭大數(shù)據(jù)專家，而專業(yè)服務(wù)企業(yè)目前還沒有找到利用自己的技術(shù)專長提供普遍服務(wù)的有效機(jī)會(huì)。通用領(lǐng)域中的大數(shù)據(jù)應(yīng)用還停留在理念階段。所以，在過去幾年出現(xiàn)的大數(shù)據(jù)技術(shù)公司大多都還在服務(wù)金融、公安、交通、能源等大客戶集中的行業(yè)。

突破的關(guān)鍵點(diǎn)可能在兩個(gè)方面，一是大數(shù)據(jù)技術(shù)棧本身十分復(fù)雜，當(dāng)下的工具還依賴專門訓(xùn)練的計(jì)算機(jī)專家，產(chǎn)業(yè)還沒有抽象出一個(gè)通用領(lǐng)域的應(yīng)用模型，也無法提供一個(gè)類似SaaS這樣友好的應(yīng)用界面。這值得數(shù)據(jù)技術(shù)領(lǐng)域和企業(yè)應(yīng)用領(lǐng)域中的跨界專家來探索。二是企業(yè)數(shù)字化建設(shè)還剛剛開始，很多企業(yè)缺失穩(wěn)定和可靠的數(shù)據(jù)采集和記錄的過程。如果沒有數(shù)據(jù)流，自然就不會(huì)有大數(shù)據(jù)應(yīng)用。因此大數(shù)據(jù)技術(shù)被廣泛應(yīng)用可能還需要五到十年的時(shí)間。

人工智能(Artificial Intelligence)

人工智能的概念和基本原理起源早至1950年代。早期的人工智能研究集中在加州大學(xué)伯克利分校，麻省理工，斯坦福和南加州大學(xué)等計(jì)算機(jī)實(shí)驗(yàn)室中。今天已經(jīng)商業(yè)化的神經(jīng)網(wǎng)絡(luò)算法就來自于半個(gè)世紀(jì)多前麻省理工大學(xué)的明斯基教授發(fā)表的《感知元》論文，但是計(jì)算機(jī)算力在當(dāng)時(shí)實(shí)在是太弱了，以至于任何計(jì)算理論上的假設(shè)都很難付諸于現(xiàn)實(shí)。因此，在長達(dá)五十年的時(shí)間內(nèi)，人工智能技術(shù)都停留在理論研究和一部分不成功的實(shí)踐上。

雖然人工智能領(lǐng)域經(jīng)歷了漫長的冬天，但它所提出的機(jī)器向人類學(xué)習(xí)，并最終在特定領(lǐng)域能夠做得比人類更好的假設(shè)卻是千真萬確的。

千禧年后的AI復(fù)蘇

2000年以后，有幾大動(dòng)因推動(dòng)了人工智能概念的復(fù)興。首先，因?yàn)槟柖傻拇嬖?，?jì)算機(jī)的運(yùn)算速度和單位存儲(chǔ)成本均用指數(shù)速率發(fā)展到一個(gè)新的階段。云計(jì)算和大數(shù)據(jù)技術(shù)也允許計(jì)算機(jī)用很快的速度處理TB甚至PB級(jí)的數(shù)據(jù)。其次，網(wǎng)絡(luò)服務(wù)的興起在諸多領(lǐng)域生產(chǎn)出豐富的數(shù)據(jù)，Google，Netflix和Amazon的業(yè)務(wù)就像數(shù)據(jù)機(jī)器一樣，每分每秒都能產(chǎn)生海量的用戶行為數(shù)據(jù)。

第三，在人工智能的數(shù)學(xué)方法研究中，AT&T貝爾實(shí)驗(yàn)室的三位科學(xué)家(Tin Kam Ho, Corinna Cortes, 和 Vladimir Vapnik)在機(jī)器學(xué)習(xí)領(lǐng)域取得了突出的進(jìn)展。機(jī)器學(xué)習(xí)技術(shù)可以將復(fù)雜和不確定的非線性問題通過線性的數(shù)學(xué)公式來解決。在解決不同的問題的過程中，機(jī)器學(xué)習(xí)理論方法和實(shí)踐被明確驗(yàn)證。最早的一批互聯(lián)網(wǎng)企業(yè)，包括Google，F(xiàn)acebook，Linkedin等在這個(gè)過程中既提供了海量數(shù)據(jù)，也從研究過程中獲得了巨大的成果。尤其是Google，它是機(jī)器學(xué)習(xí)及其分支深度學(xué)習(xí)領(lǐng)域最重要的信奉者和推動(dòng)者。2010年，Google成立了Google大腦，一個(gè)專注人工智能研究的內(nèi)部組織，后來又收購了英國企業(yè)DeepMind。后者在2016年3月?lián)魯×巳祟悋骞谲娎钍朗?/p>

下圖是Tom Siebel在Digitlal Transofrmation一書中對AI技術(shù)進(jìn)化史的一張插圖，顯示了從1950年代開始到現(xiàn)在的主要技術(shù)迭代歷史。

機(jī)器學(xué)習(xí)(Machine Learning)

機(jī)器學(xué)習(xí)是推動(dòng)AI復(fù)蘇的最重要?jiǎng)恿ΑＫ呐d起標(biāo)志著人工智能很長時(shí)間彎路的終結(jié)。要想讓機(jī)器比人做得更好，并不是依靠人來教機(jī)器規(guī)則，而是讓機(jī)器從歷史數(shù)據(jù)中學(xué)習(xí)。比如最常見的機(jī)器學(xué)習(xí)場景——物體識(shí)別，要想讓機(jī)器從各種照片中找出“貓”，只要讓機(jī)器學(xué)習(xí)各種各樣貓的照片對象。機(jī)器學(xué)習(xí)算法會(huì)將訓(xùn)練用的貓圖像背后的向量特征總結(jié)為一個(gè)預(yù)測模型，讓這個(gè)模型預(yù)測任何一張新圖片中包含貓的概率。同樣的道理，語音識(shí)別、語言翻譯、人臉識(shí)別等都是使用的類似的原理。喂養(yǎng)算法的數(shù)據(jù)量越大，通常預(yù)測的準(zhǔn)確率就越高。

機(jī)器學(xué)習(xí)應(yīng)用可以分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。前者需要人工參與訓(xùn)練數(shù)據(jù)的標(biāo)識(shí)，后者則通過數(shù)學(xué)方法自動(dòng)聚類出存在相似性的對象。在缺少訓(xùn)練數(shù)據(jù)的情況，無監(jiān)督機(jī)器學(xué)習(xí)就會(huì)起到更大的作用。

機(jī)器學(xué)習(xí)的一個(gè)分支被稱為深度神經(jīng)網(wǎng)絡(luò)(DNN)，它的設(shè)計(jì)已經(jīng)高度參照了人類大腦神經(jīng)元的連接結(jié)構(gòu)。在深度神經(jīng)網(wǎng)絡(luò)中，數(shù)據(jù)被輸送到輸入層，結(jié)果則從輸出層產(chǎn)生，在輸入層到輸出層之間存在多個(gè)隱藏層，每一層會(huì)對輸入數(shù)據(jù)的各個(gè)特征進(jìn)行推斷，最終能夠得到更為準(zhǔn)確的預(yù)測結(jié)果。打敗李世石的AlphaGo就是一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的算法。但是，DNN對于用戶來說依然是一個(gè)黑盒子。設(shè)計(jì)者并不需要也不會(huì)知道神經(jīng)網(wǎng)絡(luò)中的每一層到底在判斷什么具體特征，以及它是如何分解特征的。它背后都是高度抽象的數(shù)學(xué)方法。不管它有多么玄妙，深度神經(jīng)網(wǎng)絡(luò)的確厲害，它不僅具備高超的自學(xué)習(xí)能力，而且還簡化了傳統(tǒng)機(jī)器學(xué)習(xí)中大量復(fù)雜和耗時(shí)的特性工程(Feature Engineering，通過行業(yè)專有知識(shí)來調(diào)優(yōu)機(jī)器學(xué)習(xí)算法的過程)。

TensorFlow

2015年，Google開源了內(nèi)部的TensorFlow框架，開始將人工智能計(jì)算框架作為一項(xiàng)云計(jì)算服務(wù)向外界提供。在核心開源庫之后，TensorFlow還陸續(xù)推出了Javascript版本，滿足在瀏覽器和Node.js上開發(fā)和訓(xùn)練機(jī)器學(xué)習(xí)模型，以及在移動(dòng)設(shè)備和IoT設(shè)備上部署的Lite版本。另外，TensorFlow Extended是一個(gè)端到端的機(jī)器學(xué)習(xí)生產(chǎn)平臺(tái)，它連帶提供了編程環(huán)境和數(shù)據(jù)處理工具。

當(dāng)然，TensorFlow并不是唯一的機(jī)器學(xué)習(xí)框架，Caffe，Torch，Keras等都是。它們無一例外都是開源的。在云計(jì)算的前沿領(lǐng)域，軟件開源是一個(gè)普遍的策略。為什么如此復(fù)雜和高級(jí)的軟件都會(huì)義無反顧地選擇開源呢?一方面因?yàn)榭蚣苄援a(chǎn)品本身并不直接包含商業(yè)價(jià)值，價(jià)值需要開發(fā)者進(jìn)行二次創(chuàng)造，另一方面，在云計(jì)算服務(wù)的商業(yè)模式大前提下，通過API來提供封裝好的人工智能服務(wù)是一個(gè)非常容易實(shí)現(xiàn)的商業(yè)手段。這些開源產(chǎn)品的運(yùn)營者沒有必要對框架進(jìn)行收費(fèi)。

人工智能服務(wù)

事實(shí)上，即便你不使用這些機(jī)器學(xué)習(xí)框架，也能直接使用人工智能服務(wù)。國內(nèi)外云計(jì)算平臺(tái)都已經(jīng)在通過API提供各色各樣的人工智能服務(wù)。這些服務(wù)已經(jīng)完全封裝成應(yīng)用開發(fā)接口，開發(fā)者完全不需要了解和處理復(fù)雜的機(jī)器學(xué)習(xí)過程，只要把自己當(dāng)作用戶就可以了。

但是這些服務(wù)都非常具體和專向，并不存在任何通用的AI接口，每個(gè)接口只能為用戶解決一類具體問題。以下是阿里云AI類目下的服務(wù)分布。你可以看出這些服務(wù)都和用戶的某一個(gè)具體需求有關(guān)。比如語音識(shí)別可以讓移動(dòng)開發(fā)者開發(fā)出讓用戶直接通過語音來控制功能的應(yīng)用。人臉識(shí)別可以識(shí)別出影像中的人臉對象和實(shí)現(xiàn)身份對比驗(yàn)證。

提供一次此類服務(wù)要收多少錢呢?在云計(jì)算平臺(tái)上，這類AI應(yīng)用開發(fā)接口大多按照次數(shù)或者每秒次數(shù)級(jí)別(QPS)進(jìn)行收費(fèi)。比如識(shí)別一張身份證上的信息大約要收取1-5分錢，聽起來不少吧?

實(shí)際上，從事人工智能技術(shù)的企業(yè)并不僅僅是云計(jì)算平臺(tái)提供商。比如中國市場中，F(xiàn)ace++，科大訊飛、商湯科技、寒武紀(jì)、優(yōu)必選等都分別在計(jì)算機(jī)視覺、語音、機(jī)器人等領(lǐng)域有專長。但是它們的專向定位讓這些企業(yè)很難提供普遍的開發(fā)者服務(wù)。因?yàn)殚_發(fā)者往往希望在一個(gè)云計(jì)算平臺(tái)上獲得一攬子服務(wù)，而且用戶的基礎(chǔ)云資源也是從云計(jì)算平臺(tái)購買的。作為開發(fā)者來說，擁有一個(gè)統(tǒng)一和完善的應(yīng)用開發(fā)環(huán)境是非常重要的。

所以，在人工智能的商業(yè)化中，還有不少企業(yè)利用自己的專向技術(shù)優(yōu)勢來解決更加細(xì)分的問題。比如科大訊飛主要通過自己在語音和自然語言處理方面的技術(shù)積累為教育和司法等行業(yè)提供解決方案，中國法院的庭審文字記錄現(xiàn)在很多都是通過自動(dòng)化的語音轉(zhuǎn)錄而實(shí)現(xiàn)的。商湯科技和曠視科技則主要在智慧城市和安防領(lǐng)域提供軟硬件一體化方案。還有一組創(chuàng)業(yè)企業(yè)專注于解決高價(jià)值的自動(dòng)駕駛問題，并從中派生出更細(xì)分的AI芯片設(shè)計(jì)和制造企業(yè)。

技術(shù)棧和人才

AI相關(guān)的技術(shù)棧是前面介紹的大數(shù)據(jù)技術(shù)的一個(gè)擴(kuò)展。也就是說，沒有離得開數(shù)據(jù)獲取和處理的人工智能項(xiàng)目。要把如此眾多的開發(fā)框架和微服務(wù)組合在一起，對于非云計(jì)算專業(yè)企業(yè)來說是非常困難的。除了技術(shù)棧的復(fù)雜性以外，開發(fā)者還需要搞定大規(guī)模訓(xùn)練數(shù)據(jù)的獲取和處理過程，這個(gè)成本在短時(shí)間內(nèi)一定會(huì)成為牽制企業(yè)投入的因素。

成本還是相對容易克服的問題，因?yàn)橹灰獑栴}足夠值錢，有長期主義價(jià)值觀的企業(yè)總是愿意投入。但是更致命的問題在于AI相關(guān)人才的激烈競爭。能夠從事AI應(yīng)用開發(fā)的團(tuán)隊(duì)需要包含大數(shù)據(jù)相關(guān)的數(shù)據(jù)庫專家，深諳數(shù)學(xué)建模的算法專家，以及熟練掌握C++或Python等編程語言的高級(jí)程序員，同時(shí)還離不開有技術(shù)素養(yǎng)的業(yè)務(wù)專家參與。而在當(dāng)下階段，云計(jì)算巨頭企業(yè)和專業(yè)企業(yè)像吸鐵石一樣吸引走了絕大多數(shù)專長人才，讓普通企業(yè)根本無從獲取。

考慮到AI技術(shù)的復(fù)雜性和專業(yè)度，它極可能像云計(jì)算服務(wù)一樣，大多數(shù)企業(yè)都只會(huì)成為用戶級(jí)別的角色，這就給專業(yè)開發(fā)者留下了創(chuàng)新的空間，看誰能夠進(jìn)行足夠合理的抽象，組合出更加易用，面向通用業(yè)務(wù)場景的AI服務(wù)。

物聯(lián)網(wǎng)(Internet of Things)

消費(fèi)產(chǎn)品引爆的物聯(lián)網(wǎng)普及

云計(jì)算服務(wù)的普及不僅為用戶提供了彈性伸縮的經(jīng)濟(jì)性，還提供了一個(gè)泛在的可連接性。任何計(jì)算設(shè)備只要連上互聯(lián)網(wǎng)，就彼此通過TCP/IP協(xié)議能夠相互訪問。這個(gè)互聯(lián)價(jià)值在物聯(lián)網(wǎng)技術(shù)發(fā)展之前還僅僅限于傳統(tǒng)計(jì)算設(shè)備，也就是服務(wù)器和個(gè)人計(jì)算終端。在個(gè)人、家庭和企業(yè)世界，還有大量非傳統(tǒng)計(jì)算設(shè)備并沒有聯(lián)入這個(gè)數(shù)字化世界。

汽車、家電、個(gè)人穿戴設(shè)備、工廠的制造設(shè)備現(xiàn)在都已經(jīng)有接入互聯(lián)網(wǎng)的條件，市場上流通的這些互聯(lián)智能產(chǎn)品也越來越多。當(dāng)連接的設(shè)備豐富到一定程度的時(shí)候，各種智能化場景才能真正實(shí)現(xiàn)。IHS Markit預(yù)測到2025年，全球聯(lián)網(wǎng)設(shè)備總數(shù)量將達(dá)到750億個(gè)。萬物互聯(lián)，正是物聯(lián)網(wǎng)技術(shù)所追求的愿景。

具有數(shù)字化連接能力的非常規(guī)計(jì)算設(shè)備在上個(gè)世紀(jì)90年代就已經(jīng)出現(xiàn)，比如可以無線連接的攝像頭。真正具備中長距離連接能力的設(shè)備首先出現(xiàn)在零售和工業(yè)制造領(lǐng)域，包括西門子，通用電氣等企業(yè)開發(fā)的工業(yè)設(shè)備互聯(lián)協(xié)議(M2M)。在當(dāng)時(shí)，這些設(shè)備已經(jīng)可以通過低速的無線局域網(wǎng)使用IP協(xié)議連接到工廠的控制中心。這樣的網(wǎng)絡(luò)被成為工業(yè)以太網(wǎng)。但當(dāng)時(shí)商業(yè)互聯(lián)網(wǎng)并沒有開始發(fā)展起來，所以M2M的出現(xiàn)只能算作是物聯(lián)網(wǎng)技術(shù)的局部發(fā)展。

物聯(lián)網(wǎng)開始成型還是通過消費(fèi)產(chǎn)品市場來推動(dòng)的。2000年代初期，LG率先推出了可以接入互聯(lián)網(wǎng)的家電產(chǎn)品，一臺(tái)聯(lián)網(wǎng)冰箱售價(jià)高達(dá)20000美元，這顯然無法真正帶動(dòng)市場。在隨后幾年中，像Garmin GPS和Fitbit智能手環(huán)這樣的消費(fèi)電子產(chǎn)品開始獲得更大的產(chǎn)銷量，從而帶動(dòng)相關(guān)的低功耗芯片行業(yè)發(fā)展。到了2011-12年，消費(fèi)電子領(lǐng)域出現(xiàn)了更多的明星級(jí)產(chǎn)品，這其中包括后來被Google收購的家用傳感器Nest，Philip推出的Hue智能燈泡等。在中國市場，以小米為代表的智能手機(jī)廠商開始擴(kuò)展到物聯(lián)網(wǎng)產(chǎn)品領(lǐng)域，推出了一系列圍繞個(gè)人和家庭的智能設(shè)備和家庭網(wǎng)關(guān)產(chǎn)品。蘋果也于2015年正式進(jìn)入可穿戴產(chǎn)品市場，推出了Apple Watch，后來還推出了智能音箱HomePod。Google和國內(nèi)的互聯(lián)網(wǎng)巨頭企業(yè)也都加入了這場通過新型個(gè)人數(shù)字設(shè)備爭奪用戶和數(shù)據(jù)的競爭。目前，全球可穿戴產(chǎn)品市場已經(jīng)多年保持了40%以上的年度增長率。

個(gè)人和家庭智能設(shè)備的量產(chǎn)促進(jìn)了和物聯(lián)網(wǎng)相關(guān)的協(xié)議發(fā)展和元器件成本的降低。在這期間，藍(lán)牙5.0，WiFi-6，IPv6，NFC和RFID等關(guān)鍵傳輸和通信協(xié)議得到進(jìn)一步發(fā)展，讓設(shè)備能耗和連接速率都進(jìn)一步提升。在同一時(shí)間，云計(jì)算基礎(chǔ)服務(wù)和大數(shù)據(jù)處理技術(shù)也起到了關(guān)鍵作用。物聯(lián)網(wǎng)設(shè)備往往在短時(shí)間內(nèi)會(huì)產(chǎn)生大量數(shù)據(jù)，如果沒有前文提到的大數(shù)據(jù)技術(shù)棧，傳統(tǒng)的數(shù)據(jù)庫工具是無法承載的，同時(shí)云計(jì)算也是設(shè)備數(shù)據(jù)匯聚的海洋，今天幾乎所有的物聯(lián)網(wǎng)技術(shù)平臺(tái)都架構(gòu)在云計(jì)算平臺(tái)上，他們是典型的互生行業(yè)。

物聯(lián)網(wǎng)的技術(shù)棧

物聯(lián)網(wǎng)相關(guān)的技術(shù)棧非常綜合。它橫跨軟硬件，既包含感知探測相關(guān)的硬件技術(shù)，也包含網(wǎng)絡(luò)傳輸和應(yīng)用構(gòu)筑的軟件技術(shù)。直至今天，物聯(lián)網(wǎng)相關(guān)的技術(shù)棧都沒有完全穩(wěn)定下來，甚至很可能長期保持多元的特征。但是概括起來，整個(gè)技術(shù)棧還是有一些層次特征。

行業(yè)一般把物聯(lián)網(wǎng)相關(guān)的技術(shù)架構(gòu)分解為四層，分別定義為和物理環(huán)境相關(guān)的設(shè)備感測層、和數(shù)據(jù)傳輸和通信有關(guān)的網(wǎng)絡(luò)層，IoT相關(guān)的平臺(tái)管理層，以及最終實(shí)現(xiàn)用戶價(jià)值的業(yè)務(wù)應(yīng)用層。無論是針對消費(fèi)市場還是企業(yè)市場的物聯(lián)網(wǎng)系統(tǒng)都會(huì)有這四個(gè)層次。

設(shè)備感測層是由各種類型的傳感器和可交互訪問的硬件模塊及其嵌入式軟件而組成的。例如溫度濕度傳感器、攝像頭、電源開關(guān)和插座和網(wǎng)關(guān)等。感測層設(shè)備不僅是單向獲取數(shù)據(jù)，還可能從外界接受指令改變硬件狀態(tài)(比如智能鎖)。行業(yè)內(nèi)一般把這個(gè)層次稱為“邊緣”(Edge)。

設(shè)備感測層的技術(shù)棧主要由軟硬件協(xié)同開發(fā)的嵌入式系統(tǒng)構(gòu)成。我們用的智能手機(jī)本質(zhì)上也是一個(gè)嵌入式系統(tǒng)，只是它的嵌入度非常完整，甚至不亞于一臺(tái)標(biāo)準(zhǔn)計(jì)算設(shè)備。嵌入式系統(tǒng)開發(fā)經(jīng)歷了早期的單片機(jī)和嵌入式操作系統(tǒng)/CPU階段，目前最前沿的是SoC(片上系統(tǒng))，把一個(gè)專用系統(tǒng)的所有嵌入式軟件完全整合在一個(gè)集成電路上。今天的智能手機(jī)、智能電視等都是由若干個(gè)SoC整合而成的。在嵌入式系統(tǒng)中，固化在硬件上的軟件程序甚至依然可以得到更新，而且這種更新目前大多都可以通過連接互聯(lián)網(wǎng)實(shí)現(xiàn)，這種升級(jí)被稱之為OTA (Over-the-air)更新。

另外，設(shè)備感測層還需要解決設(shè)備的訪問協(xié)議問題。物聯(lián)網(wǎng)系統(tǒng)目前已經(jīng)廣泛支持IPv6協(xié)議。IPv6能夠提供全球的IP地址總量高達(dá)2的128次方，這是一個(gè)天文數(shù)字，可以確保任何物聯(lián)網(wǎng)設(shè)備都能夠擁有獨(dú)立的IP地址，從而實(shí)現(xiàn)在全球的唯一尋址。當(dāng)全球物聯(lián)網(wǎng)設(shè)備達(dá)到千億，甚至萬億數(shù)量級(jí)的時(shí)候，IPv6功不可沒。

網(wǎng)絡(luò)傳輸層要解決的是感測設(shè)備和計(jì)算設(shè)備之間，以及最終與平臺(tái)管理層之間的數(shù)據(jù)傳輸問題。根據(jù)連接性質(zhì)不同，又可以分為短距、中距和長距類型，以及有線和無線類型。在這些連接協(xié)議中，藍(lán)牙、NFC、Wi-Fi、無線射頻(RFID)、4G和5G等是比較常用的。這些傳輸協(xié)議在設(shè)備側(cè)一般都是直接設(shè)計(jì)在板上系統(tǒng)上的，通過IP協(xié)議提供可訪問地址。開發(fā)者需要根據(jù)連接的距離、速率、功耗和成本等要求做出合理的選擇。

IoT平臺(tái)層是物聯(lián)網(wǎng)系統(tǒng)中至關(guān)重要的部分，它的出現(xiàn)也標(biāo)志著基于云計(jì)算平臺(tái)的物聯(lián)網(wǎng)系統(tǒng)誕生。一個(gè)IoT平臺(tái)的核心作用是管理成千上萬的物聯(lián)網(wǎng)設(shè)備，包括他們的狀態(tài)，數(shù)據(jù)上報(bào)接收，建立對它們的控制，對設(shè)備進(jìn)行運(yùn)維分組，并能夠?qū)崿F(xiàn)從云端往邊緣側(cè)的更新推送(OTA)。同時(shí)，物聯(lián)網(wǎng)平臺(tái)也要借用上文提到的大數(shù)據(jù)技術(shù)棧，對設(shè)備上報(bào)數(shù)據(jù)進(jìn)行處理，并用各種數(shù)據(jù)庫完成存儲(chǔ)，這其中比較重要的數(shù)據(jù)庫類型就是時(shí)序數(shù)據(jù)庫。

更完整的IoT平臺(tái)還包括圍繞設(shè)備數(shù)據(jù)建立自動(dòng)化工作流的能力，數(shù)據(jù)分析工具以及為更上層的應(yīng)用開發(fā)提供數(shù)據(jù)開發(fā)接口的設(shè)計(jì)。

目前，主流云計(jì)算平臺(tái)都專門為客戶提供了物聯(lián)網(wǎng)技術(shù)平臺(tái)，結(jié)合基礎(chǔ)云和大數(shù)據(jù)相關(guān)服務(wù)獲取增值業(yè)務(wù)收入。阿里云，AWS，Azure和Google Cloud都有專門的解決方案，國內(nèi)外也有專門的物聯(lián)網(wǎng)平臺(tái)技術(shù)公司將自己的解決方案架構(gòu)在基礎(chǔ)云上或者提供跨云服務(wù)。

Oracle，Salesforce和微軟Azure等企業(yè)軟件廠商的物聯(lián)網(wǎng)平臺(tái)不僅提供了上述基礎(chǔ)服務(wù)，還結(jié)合了自己的企業(yè)應(yīng)用套裝優(yōu)勢，提供一站式的物聯(lián)網(wǎng)應(yīng)用開發(fā)平臺(tái)。它們更適合企業(yè)物聯(lián)網(wǎng)系統(tǒng)建設(shè)。

最上一層的應(yīng)用層是整個(gè)物聯(lián)網(wǎng)技術(shù)架構(gòu)中最不標(biāo)準(zhǔn)化的部分。應(yīng)用層最終要將連接的設(shè)備和數(shù)據(jù)用于具體的商業(yè)場景。比如共享充電寶就是一個(gè)物聯(lián)網(wǎng)系統(tǒng)，它的應(yīng)用層包含面向C端的租用和支付系統(tǒng)，面向商戶的設(shè)備狀態(tài)報(bào)告，收益結(jié)算系統(tǒng)，以及面向運(yùn)營部門的設(shè)備運(yùn)維管理系統(tǒng)。換到另外一個(gè)物聯(lián)網(wǎng)場景，應(yīng)用層的構(gòu)成可能完全不一樣。

邊緣計(jì)算和AIoT

物聯(lián)網(wǎng)技術(shù)架構(gòu)的基本思路是分層分工，感測層主要取得數(shù)據(jù)和建立對物理硬件的控制，數(shù)據(jù)通過網(wǎng)絡(luò)層和計(jì)算平臺(tái)連接，計(jì)算則在云端完成。但是隨著物聯(lián)網(wǎng)應(yīng)用場景的豐富，設(shè)備規(guī)模的擴(kuò)大，以及芯片技術(shù)的發(fā)展，邊緣計(jì)算概念開始得到認(rèn)可。所謂邊緣計(jì)算，就是利用設(shè)備端和鄰近網(wǎng)關(guān)的計(jì)算能力處理和存儲(chǔ)數(shù)據(jù)，減少和云端的數(shù)據(jù)傳輸，從而實(shí)現(xiàn)更快速的應(yīng)用響應(yīng)。除了速度的提升，邊緣計(jì)算還能夠大幅減少云計(jì)算和數(shù)據(jù)傳輸成本。比如針對一個(gè)大型的視頻監(jiān)控網(wǎng)絡(luò)，如果攝像頭將所有的視頻流數(shù)據(jù)都傳輸?shù)皆贫?，云端算力要求和成本將?huì)非常高。而如果在攝像頭設(shè)備內(nèi)部實(shí)現(xiàn)必要的視覺計(jì)算(比如識(shí)別異常)，整個(gè)物聯(lián)網(wǎng)系統(tǒng)的效率將大大提高。再例如廣泛應(yīng)用的人臉認(rèn)證和識(shí)別系統(tǒng)，如果不能依賴本地的設(shè)備計(jì)算能力，十億用戶的高頻度使用將會(huì)讓云平臺(tái)不堪重負(fù)。

上面兩個(gè)例子顯示了邊緣計(jì)算往往和人工智能應(yīng)用相關(guān)，設(shè)備側(cè)往往完成的是模式識(shí)別類的人工智能算法，因此往往需要專門芯片的助力。Nvidia公司推出的Jetson系列模塊就是專門為邊緣計(jì)算場景而服務(wù)的。這些芯片模塊被安裝在機(jī)器人、自動(dòng)駕駛汽車等邊緣設(shè)備上，所以這組技術(shù)產(chǎn)品也被稱為“自主機(jī)器”。因?yàn)槲锫?lián)網(wǎng)和這些人工智能應(yīng)用的結(jié)合，因此，這套技術(shù)方案也常被稱為AIoT。

應(yīng)用領(lǐng)域

如果把2012年前后作為基于云計(jì)算的物聯(lián)網(wǎng)平臺(tái)技術(shù)發(fā)展開端的年份，僅僅八年左右的時(shí)間，物聯(lián)網(wǎng)應(yīng)用領(lǐng)域已經(jīng)發(fā)展得非常廣泛。只是我們身在其中，享受它帶來的便利，并不一定能夠感知它的存在。這個(gè)高速發(fā)展過程很大程度上受益于基礎(chǔ)云計(jì)算服務(wù)和大數(shù)據(jù)技術(shù)棧的同步發(fā)展。

在消費(fèi)應(yīng)用領(lǐng)域，個(gè)人穿戴設(shè)備已經(jīng)從手表、手環(huán)發(fā)展到耳環(huán)戒指這樣的雜項(xiàng)。在智能家居領(lǐng)域，我們可見的家電、門鎖、照片、開關(guān)、音箱等都已經(jīng)是互聯(lián)網(wǎng)設(shè)備。在個(gè)人和家庭領(lǐng)域，物聯(lián)網(wǎng)技術(shù)競爭已經(jīng)不再重要，競爭的焦點(diǎn)已經(jīng)遷移到內(nèi)容生態(tài)和用戶網(wǎng)絡(luò)效應(yīng)。在這些領(lǐng)域，蘋果、谷歌和國內(nèi)的華為、小米等已經(jīng)牢牢占據(jù)了地位。小米生態(tài)鏈重點(diǎn)指的就是依托米家體系的一群消費(fèi)電子產(chǎn)品企業(yè)。

在工業(yè)、農(nóng)業(yè)、交通運(yùn)輸、能源和社會(huì)管理領(lǐng)域，物聯(lián)網(wǎng)的應(yīng)用場景更為廣泛。我們的街道上已經(jīng)密布了各種攝像頭，這些攝像頭通過專門網(wǎng)絡(luò)構(gòu)筑了天眼系統(tǒng);我們頭頂上的電力傳輸網(wǎng)絡(luò)和用電單位終端也已經(jīng)完成了智能電網(wǎng)改造;礦場和工地上也都布滿了各種安全監(jiān)控設(shè)備。這些都是最近十年來重大的IT投資。預(yù)計(jì)未來十年這樣的建設(shè)和更新依然不會(huì)結(jié)束。

云計(jì)算的未來

本文主要是對云計(jì)算過去十五年的一個(gè)回顧。技術(shù)領(lǐng)域的發(fā)展速度是如此之快，以至于我們很難預(yù)測未來的十五年會(huì)發(fā)生什么。在本文的最后，我僅僅對當(dāng)下已經(jīng)呈現(xiàn)的云計(jì)算市場趨勢做一些簡單的概括，它們甚至已經(jīng)在發(fā)生，但我們不知道這些技術(shù)趨勢的發(fā)展具體會(huì)顛覆哪些巨頭，會(huì)催生出哪些明星。

存儲(chǔ)和計(jì)算的成本將進(jìn)一步下降，但消耗會(huì)同步增長?？紤]到全球范圍內(nèi)的計(jì)算服務(wù)還有大量沒有轉(zhuǎn)移到云計(jì)算環(huán)境中，未來十年基礎(chǔ)云服務(wù)的算力還會(huì)大量增加，服務(wù)單價(jià)會(huì)持續(xù)下降。

前沿技術(shù)將持續(xù)融合到云計(jì)算平臺(tái)，包括量子計(jì)算、AR/VR、區(qū)塊鏈等。尤其是那些依賴海量數(shù)據(jù)計(jì)算能力和彈性計(jì)算資源的應(yīng)用，云計(jì)算是成就它們更快成長速度的軌道。

云計(jì)算的核心競爭將聚焦在應(yīng)用開發(fā)環(huán)境的優(yōu)越性上。誰能夠提供廉價(jià)、完善和前沿的開發(fā)技術(shù)棧環(huán)境，誰就能夠獲得更多的開發(fā)者用戶。當(dāng)開發(fā)者用戶選擇了云服務(wù)商后，他們其實(shí)就為終端用戶做出了選擇。

多云、或稱混合云環(huán)境成為長期的企業(yè)應(yīng)用策略，云計(jì)算用戶將綜合使用邊緣、各個(gè)云計(jì)算服務(wù)商和自有IT設(shè)施。

云計(jì)算開發(fā)技術(shù)棧會(huì)越來越復(fù)雜，這會(huì)讓應(yīng)用開發(fā)領(lǐng)域的分工更加明確。面向終端用戶的應(yīng)用開發(fā)將變得更加簡潔，應(yīng)用生成的方式會(huì)越來越多元，無需編碼，依靠普通業(yè)務(wù)用戶建立應(yīng)用程序的服務(wù)商會(huì)越來越多。

原文地址：http://cloud.idcquan.com/yzx/181584.shtml

網(wǎng)站標(biāo)題：不懂的看過來：云計(jì)算簡史
本文網(wǎng)址：http://jinyejixie.com/news21/200871.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、商城網(wǎng)站、品牌網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、App設(shè)計(jì)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)