本期《百度云說》邀請到的嘉賓是百度云主任架構師、百度云技術委員會主席呂毅。現負責百度云整體的技術把握,曾作為創始人,構建和應用百度集群操作系統Matrix。Matrix是國內的成功構建、并大規模應用的基于輕量虛擬化技術支持的超大規模資源調度和管理的集群操作系統,是百度云架構、百度業務平臺的基石。訪談全文如下。
Q:百度Matrix集群操作系統是在什么背景下誕生的?
呂毅:云計算相比于傳統IT大的優勢就是在成本和效率層面實現了質的飛躍。Matrix正是百度自身在追求成本和效率更加高效的大背景下誕生的,是內部孵化且在業界具有地位的云計算產品。百度是在2010年開始對內部云的虛擬化技術進行嘗試,2012年正式開始立項做Matrix集群操作系統,以此來解決數據中心資源利用率不均衡、故障處理效率低以及配置管理復雜等挑戰。目前,Matrix已經全面覆蓋百度內部業務,并成為百度云的關鍵組件。
Q:百度Matrix從立項到現在經歷了哪幾個發展階段?
呂毅:2012年-2015年是Matrix發展的第一階段,這期間百度數據中心效率提升明顯,資源利用率得到大幅提升,獲得了很好的收益。
2015年-2017年是Matrix發展的第二階段。由于大數據的大量生成以及AI的快速發展,大數據處理和模型訓練增長迅猛,從而對資源的需求大幅增加。為了結合業務發展需要和成本控制,從2015年開始啟動大規模的混合部署,對資源管理、調度以及對上層業務的支持提出了更高的要求。Matrix在這個階段很好地滿足了業務需求,并得以實現大規模混布。目前,Matrix支撐了所有內部業務的交付,混合部署也成為百度默認的資源交付方式。同時,從業務角度看,混合資源和非混合資源的影響感知非常小,極大地節省了成本。
Q:百度Matrix最為核心的功能有哪些?
呂毅:Matrix架構是可以與Google Borg/Omega架構來對標的,通過分層調度器來滿足業務多樣性調度需求,通過共享狀態的方式達到資源的大化利用。據悉,目前Matrix管理著國內大的容器集群系統。
此外,Matrix還具備完善的調度生態,提供面向批量作業和服務的不同調度系統,能夠滿足業務高效吞吐和低延遲穩定性的需求。在此基礎上,在百度內部提供了完整的服務托管體系,面向業務提供多樣的服務管理功能,結合研發和測試過程的優化,極大的提升業務的研發效率。
簡單來講,對客戶來說,只需要提供物理機,初始安裝Matrix集群操作系統后,剩下的就是通過Matrix實現對上層應用服務的發布、部署、資源管理,以及整體資源優化。
Q:從功能的角度,Matrix未來會朝著什么方向演進?
呂毅:從開源來看,DockerImage已經成為容器部署的標準。因此,在容器角度上,Matrix在內核基礎上繼續定制優化容器技術,并繼續完善配套的管理機制。
從技術棧來看,最底層是虛擬機和物理機,Matrix會優化管理整個集群的物理資源,包括物理資源的故障恢復以及分區域管理;往上是包括容器的編排和調度如何更加高效;最上層是服務管理層,涉及到服務的分級發布、服務管理等,如何更通用和易用,以及如何更好的優化CI/CD,持續提升業務的迭代效率。
最后,單獨提到容器技術,如何持續提高容器的安全性(隔離),實現真正多租戶的混合部署,逐步和虛機技術實現更好的融合。Matrix將繼續借鑒和回饋K8s/Docker社區,并結合百度自身對容器技術改進和理解,進一步完善自身功能,持續對內部和外部客戶輸出。
Q:Matrix在當前階段的發展目標是什么?
呂毅:Matrix當前階段的目標優化內部,同時對外賦能,百度公有云以及基于Matrix對外提供各種云服務,而一些企業級客戶其實在內部的私有云同樣有著類似的需求。尤其是現在越來越多企業都有著大數據處理以及提升企業AI能力的需求,這其實和百度早期非常接近,希望能夠利用我們在集群操作系統的經驗,包括服務管理、容器技術以及其他開源技術的實現,結合百度云的大數據和AI能力,整體打包做成客戶解決方案,滿足企業客戶的發展需求。
Q:Matrix這種非常強大的集群管理系統比較適合什么類型的客戶?
呂毅:服務器數量只要達到上百臺的企業級客戶就可以采用Matrix。業務規模較小時,其實資源管理和調度相對較為簡單;當業務規模較大時,不引入容器技術就會導致上層管理系統的設計和實現復雜度增大,尤其是在混合部署下差異更高。引入容器技術,隨著規模增長,客戶就會感受到容器本身效率會對業務產生的影響,這就需要集群操作系統來管理復雜的環境,規范和優化業務。
Q:企業級客戶如果想采用Matrix的話,切入點會在哪里?
呂毅:從我們現階段接觸的客戶需求來看,我們會首先輔助企業內部構建一套基于容器技術的系統,來優化企業內部原有的業務。現在很多企業對于大數據和AI的訴求是非常強勁的,這對于Cloud的能力提出了更高的要求,因此百度首先會在Cloud部分提出相應的解決方案,滿足企業內部應用容器技術上遷移。
其次,百度可以為企業提供大數據和AI的定制化解決方案,最后整體面向企業進行ABC的交付,很好地滿足企業的大數據和AI業務需求。
Q:Matrix對外賦能是否隨著業務和客戶的發展而變化?
呂毅:企業級市場的核心就是以客戶業務需求為導向,Matrix也一致秉持這個發展理念。Matrix會沿著通用化的發展路線對外輸出,保持基礎核心功能層不變,在深度分析客戶需求之后結合百度的經驗,抽象出相對通用化的系統和解決方案,再結合客戶的業務需求進行定制。此外,百度會繼續在內部堅持技術創新,包括加大對Kubernetes、Docker等社區的貢獻,持續優化Matrix的核心功能。
Q:目前采用Matrix產品的經典客戶案例是?
呂毅:我們對外不單獨交付Matrix,Matrix是作為百度對外交付解決方案的一部分。目前國內已經有很多客戶在百度交付的解決方案中用到了Matrix技術。比如,百信銀行,作為國內第一家互聯網銀行,是一家建立在云上面的銀行,并且集ABC能力于大成的新時代銀行,百信銀行采用了來自百度的云架構技術,在分布式集群架構上構建起了銀行的核心業務系統,非常具有前瞻性和性。
網站標題:Matrix讓云世界化繁為簡
分享地址:http://m.newbst.com/news21/32871.html
成都網站建設公司_創新互聯,為您提供搜索引擎優化、建站公司、手機網站建設、軟件開發、動態網站、微信小程序
廣告
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源:
創新互聯