本期《百度云說》邀請到的嘉賓是百度云主任架構(gòu)師、百度云技術(shù)委員會(huì)主席呂毅?,F(xiàn)負(fù)責(zé)百度云整體的技術(shù)把握,曾作為創(chuàng)始人,構(gòu)建和應(yīng)用百度集群操作系統(tǒng)Matrix。Matrix是國內(nèi)的成功構(gòu)建、并大規(guī)模應(yīng)用的基于輕量虛擬化技術(shù)支持的超大規(guī)模資源調(diào)度和管理的集群操作系統(tǒng),是百度云架構(gòu)、百度業(yè)務(wù)平臺的基石。訪談全文如下。
Q:百度Matrix集群操作系統(tǒng)是在什么背景下誕生的?
呂毅:云計(jì)算相比于傳統(tǒng)IT大的優(yōu)勢就是在成本和效率層面實(shí)現(xiàn)了質(zhì)的飛躍。Matrix正是百度自身在追求成本和效率更加高效的大背景下誕生的,是內(nèi)部孵化且在業(yè)界具有地位的云計(jì)算產(chǎn)品。百度是在2010年開始對內(nèi)部云的虛擬化技術(shù)進(jìn)行嘗試,2012年正式開始立項(xiàng)做Matrix集群操作系統(tǒng),以此來解決數(shù)據(jù)中心資源利用率不均衡、故障處理效率低以及配置管理復(fù)雜等挑戰(zhàn)。目前,Matrix已經(jīng)全面覆蓋百度內(nèi)部業(yè)務(wù),并成為百度云的關(guān)鍵組件。
Q:百度Matrix從立項(xiàng)到現(xiàn)在經(jīng)歷了哪幾個(gè)發(fā)展階段?
呂毅:2012年-2015年是Matrix發(fā)展的第一階段,這期間百度數(shù)據(jù)中心效率提升明顯,資源利用率得到大幅提升,獲得了很好的收益。
2015年-2017年是Matrix發(fā)展的第二階段。由于大數(shù)據(jù)的大量生成以及AI的快速發(fā)展,大數(shù)據(jù)處理和模型訓(xùn)練增長迅猛,從而對資源的需求大幅增加。為了結(jié)合業(yè)務(wù)發(fā)展需要和成本控制,從2015年開始啟動(dòng)大規(guī)模的混合部署,對資源管理、調(diào)度以及對上層業(yè)務(wù)的支持提出了更高的要求。Matrix在這個(gè)階段很好地滿足了業(yè)務(wù)需求,并得以實(shí)現(xiàn)大規(guī)模混布。目前,Matrix支撐了所有內(nèi)部業(yè)務(wù)的交付,混合部署也成為百度默認(rèn)的資源交付方式。同時(shí),從業(yè)務(wù)角度看,混合資源和非混合資源的影響感知非常小,極大地節(jié)省了成本。
Q:百度Matrix最為核心的功能有哪些?
呂毅:Matrix架構(gòu)是可以與Google Borg/Omega架構(gòu)來對標(biāo)的,通過分層調(diào)度器來滿足業(yè)務(wù)多樣性調(diào)度需求,通過共享狀態(tài)的方式達(dá)到資源的大化利用。據(jù)悉,目前Matrix管理著國內(nèi)大的容器集群系統(tǒng)。
此外,Matrix還具備完善的調(diào)度生態(tài),提供面向批量作業(yè)和服務(wù)的不同調(diào)度系統(tǒng),能夠滿足業(yè)務(wù)高效吞吐和低延遲穩(wěn)定性的需求。在此基礎(chǔ)上,在百度內(nèi)部提供了完整的服務(wù)托管體系,面向業(yè)務(wù)提供多樣的服務(wù)管理功能,結(jié)合研發(fā)和測試過程的優(yōu)化,極大的提升業(yè)務(wù)的研發(fā)效率。
簡單來講,對客戶來說,只需要提供物理機(jī),初始安裝Matrix集群操作系統(tǒng)后,剩下的就是通過Matrix實(shí)現(xiàn)對上層應(yīng)用服務(wù)的發(fā)布、部署、資源管理,以及整體資源優(yōu)化。
Q:從功能的角度,Matrix未來會(huì)朝著什么方向演進(jìn)?
呂毅:從開源來看,DockerImage已經(jīng)成為容器部署的標(biāo)準(zhǔn)。因此,在容器角度上,Matrix在內(nèi)核基礎(chǔ)上繼續(xù)定制優(yōu)化容器技術(shù),并繼續(xù)完善配套的管理機(jī)制。
從技術(shù)棧來看,最底層是虛擬機(jī)和物理機(jī),Matrix會(huì)優(yōu)化管理整個(gè)集群的物理資源,包括物理資源的故障恢復(fù)以及分區(qū)域管理;往上是包括容器的編排和調(diào)度如何更加高效;最上層是服務(wù)管理層,涉及到服務(wù)的分級發(fā)布、服務(wù)管理等,如何更通用和易用,以及如何更好的優(yōu)化CI/CD,持續(xù)提升業(yè)務(wù)的迭代效率。
最后,單獨(dú)提到容器技術(shù),如何持續(xù)提高容器的安全性(隔離),實(shí)現(xiàn)真正多租戶的混合部署,逐步和虛機(jī)技術(shù)實(shí)現(xiàn)更好的融合。Matrix將繼續(xù)借鑒和回饋K8s/Docker社區(qū),并結(jié)合百度自身對容器技術(shù)改進(jìn)和理解,進(jìn)一步完善自身功能,持續(xù)對內(nèi)部和外部客戶輸出。
Q:Matrix在當(dāng)前階段的發(fā)展目標(biāo)是什么?
呂毅:Matrix當(dāng)前階段的目標(biāo)優(yōu)化內(nèi)部,同時(shí)對外賦能,百度公有云以及基于Matrix對外提供各種云服務(wù),而一些企業(yè)級客戶其實(shí)在內(nèi)部的私有云同樣有著類似的需求。尤其是現(xiàn)在越來越多企業(yè)都有著大數(shù)據(jù)處理以及提升企業(yè)AI能力的需求,這其實(shí)和百度早期非常接近,希望能夠利用我們在集群操作系統(tǒng)的經(jīng)驗(yàn),包括服務(wù)管理、容器技術(shù)以及其他開源技術(shù)的實(shí)現(xiàn),結(jié)合百度云的大數(shù)據(jù)和AI能力,整體打包做成客戶解決方案,滿足企業(yè)客戶的發(fā)展需求。
Q:Matrix這種非常強(qiáng)大的集群管理系統(tǒng)比較適合什么類型的客戶?
呂毅:服務(wù)器數(shù)量只要達(dá)到上百臺的企業(yè)級客戶就可以采用Matrix。業(yè)務(wù)規(guī)模較小時(shí),其實(shí)資源管理和調(diào)度相對較為簡單;當(dāng)業(yè)務(wù)規(guī)模較大時(shí),不引入容器技術(shù)就會(huì)導(dǎo)致上層管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)復(fù)雜度增大,尤其是在混合部署下差異更高。引入容器技術(shù),隨著規(guī)模增長,客戶就會(huì)感受到容器本身效率會(huì)對業(yè)務(wù)產(chǎn)生的影響,這就需要集群操作系統(tǒng)來管理復(fù)雜的環(huán)境,規(guī)范和優(yōu)化業(yè)務(wù)。
Q:企業(yè)級客戶如果想采用Matrix的話,切入點(diǎn)會(huì)在哪里?
呂毅:從我們現(xiàn)階段接觸的客戶需求來看,我們會(huì)首先輔助企業(yè)內(nèi)部構(gòu)建一套基于容器技術(shù)的系統(tǒng),來優(yōu)化企業(yè)內(nèi)部原有的業(yè)務(wù)?,F(xiàn)在很多企業(yè)對于大數(shù)據(jù)和AI的訴求是非常強(qiáng)勁的,這對于Cloud的能力提出了更高的要求,因此百度首先會(huì)在Cloud部分提出相應(yīng)的解決方案,滿足企業(yè)內(nèi)部應(yīng)用容器技術(shù)上遷移。
其次,百度可以為企業(yè)提供大數(shù)據(jù)和AI的定制化解決方案,最后整體面向企業(yè)進(jìn)行ABC的交付,很好地滿足企業(yè)的大數(shù)據(jù)和AI業(yè)務(wù)需求。
Q:Matrix對外賦能是否隨著業(yè)務(wù)和客戶的發(fā)展而變化?
呂毅:企業(yè)級市場的核心就是以客戶業(yè)務(wù)需求為導(dǎo)向,Matrix也一致秉持這個(gè)發(fā)展理念。Matrix會(huì)沿著通用化的發(fā)展路線對外輸出,保持基礎(chǔ)核心功能層不變,在深度分析客戶需求之后結(jié)合百度的經(jīng)驗(yàn),抽象出相對通用化的系統(tǒng)和解決方案,再結(jié)合客戶的業(yè)務(wù)需求進(jìn)行定制。此外,百度會(huì)繼續(xù)在內(nèi)部堅(jiān)持技術(shù)創(chuàng)新,包括加大對Kubernetes、Docker等社區(qū)的貢獻(xiàn),持續(xù)優(yōu)化Matrix的核心功能。
Q:目前采用Matrix產(chǎn)品的經(jīng)典客戶案例是?
呂毅:我們對外不單獨(dú)交付Matrix,Matrix是作為百度對外交付解決方案的一部分。目前國內(nèi)已經(jīng)有很多客戶在百度交付的解決方案中用到了Matrix技術(shù)。比如,百信銀行,作為國內(nèi)第一家互聯(lián)網(wǎng)銀行,是一家建立在云上面的銀行,并且集ABC能力于大成的新時(shí)代銀行,百信銀行采用了來自百度的云架構(gòu)技術(shù),在分布式集群架構(gòu)上構(gòu)建起了銀行的核心業(yè)務(wù)系統(tǒng),非常具有前瞻性和性。
網(wǎng)站標(biāo)題:Matrix讓云世界化繁為簡
當(dāng)前網(wǎng)址:http://jinyejixie.com/news/32871.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供云服務(wù)器、關(guān)鍵詞優(yōu)化、面包屑導(dǎo)航、網(wǎng)站內(nèi)鏈、定制開發(fā)、外貿(mào)建站
廣告
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源:
創(chuàng)新互聯(lián)