圍繞云計算相關的技術領域、技術名詞和技術產品令人眼花繚亂。在云計算發端之初，應用開發環境還比較簡單，當時還有所謂的全棧工程師存在，意味著如果不考慮開發周期，一個人就能搞定整個應用軟件。今天，這個稱謂已經名不符實。很少再有一個人，甚至一個企業能夠全面掌握和云計算有關的所有技術棧。他們可能會應用旁人完成的一些成果，結合自有的一些專有經驗，來形成在某個細分市場有競爭力的產品，或者為客戶交付期望的產出。

即使作為純粹的應用者，要想全面了解和云計算有關的技術，做到合理架構，恰當選型，順利完成集成開發和部署的全過程，也都比過去難得多，需要的技術人才也比過去昂貴。坦率來說，在當下的人才競爭度下，一般行業的企業，即使擁有信息部門，也都不太可能獨立駕馭這樣復雜的開發設施，他們將不得不廣泛依賴云計算平臺提供的服務。這給軟件行業的解決方案商帶來了新的市場機會。誰能夠為數字化轉型企業提供友好的應用開發和部署環境，誰就能夠獲得和保有客戶。

這篇長文主要面向大中型企業的技術和非技術管理者。我通過描繪云計算技術和市場領域的發展過程，介紹關鍵技術和市場里程碑，包括不同技術域下的核心開源項目，讓企業能夠對云計算發展歷史和相關技術域有一個通盤的了解。有了通盤的認知，你會更容易看透本企業應該怎樣利用云計算，未來可能的市場機會和挑戰在哪里?

本文受到Tom Siebel 2019年出版的Digital Transformation一書的啟發，但我盡量結合了中國市場的實際情況通俗地來講述。

云計算市場的形成和結構

我們今天能夠享受經濟和便捷的云計算服務，主要來自兩大動力，一是計算資源的虛擬化技術，二則是規模經濟效應。前者發端于2000年后VMWare推出的Hypervisor虛擬化軟件，它不再依賴一個母體操作系統，就允許用戶將硬件和網絡資源劃分成多個單元，從而實現計算資源的池化、共享和按需調度。

2006年，Amazon推出了S3對象存儲服務和SQS簡單隊列服務，開創了公共云計算服務的先河。在此后，微軟，IBM，谷歌，中國的阿里，騰訊和華為等都陸續加入了公共云服務的市場，提供的服務也從基礎計算資源擴展到數據庫、人工智能、物聯網等多個技術領域。目前，這個行業已經成長為年收入2500億美元的巨大市場。

在這十多年的發展過程中，當然出現了很多的公司，產品和服務，但是概括起來這些事物的涌現基本沿著兩條明顯的路線在進行：

趨勢一：從基礎設施，到應用，再到應用相關的平臺服務

基礎云 (Infrastructure as a Service)

最早的云計算服務就是最基礎的云主機(Virtual Machine)，服務商把裸金屬裝上Hypervisor，把計算和網絡資源分塊后就可以賣了。隨后，基礎服務被拆分為主機、存儲、網絡、數據庫和安全等幾個重要的基礎云產品，允許用戶靈活組合，并實現了彈性計費(目前國外基礎云廠商大多都提供按分鐘或按秒的計費精度，存儲則可以按月計費，比如AWS的S3服務每GB數據的標準存儲月費在0.0125美元，而深度歸檔存儲的每GB月費可以低至每GB0.001美元)。

我們一般把主機，存儲，網絡，數據庫和安全相關的計算服務統稱為基礎云服務。在這些服務之上，開發者需要完成所有的技術棧搭建，構建自己的數據架構，開發編碼，部署運維，最終才能實現云端應用。而初代的云計算客戶大多數都是互聯網公司。他們并非云服務的最終消費者，而是生產者。

應用即服務(Software as a Service)

和Amazon Web Services幾乎同時起步的另外一家公司Dropbox是一家面向個人和團隊提供文件存儲和共享服務的創業公司。趕上了AWS起步的時候，Dropbox就直接使用了AWS現成的S3對象存儲服務，這讓一家團隊人數很小的初創公司有機會能夠聚焦在應用開發和營銷上，讓Dropbox通過短短的幾年時間發展成市場份額第一的文件共享應用。和Dropbox類似的大票SaaS企業大多也都是在隨后的十年內陸續出現，他們千篇一律都使用了云計算平臺的服務，而不再自建基礎設施。這當中也包括一個超級大用戶“奈飛“(Netflix)，他們的下行流量占到整個互聯網下行流量的15%之多，也是AWS的客戶。

我們創辦的明道協作應用誕生在2011年，也正好趕上了中國云計算平臺開始的年份，所以我們也避免了很多基礎設施的建設工作。廣義來說，最早的云服務在基礎云公司之前就出現了。1999年創辦的Salesforce，就是一個典型的SaaS公司，只不過當年沒有這樣的行業術語。2016年，據說Salesforce也已經成為了AWS的客戶。因為SaaS服務形式的存在，使得云計算能夠間接提供服務給大量的中小企業和非互聯網行業企業。今天，幾乎所有的企業都或多或少應用一些SaaS服務。

云計算市場發展的第一波主要由互聯網企業用戶帶動。他們具備比較完整的開發和自助運維能力，而且也有日益增長的用量，屬于基礎云服務最理想的客戶群體。直到今天，阿里云和騰訊云的主要客戶群體依然是泛互聯網行業。

SaaS企業是云計算基礎服務的重要推動者，雖然這個門類和2C的網絡服務相比，貢獻的經濟價值要小得多，但是他們深諳企業市場的需求，推動了云計算平臺的應用開發環境日益成熟。這就是趨勢的下一步：平臺即服務。

(開發)平臺即服務(Platform as a Service)

所謂平臺即服務，特指開發平臺。應用開發工作從本地遷移到云端，自然需要在云計算環境中提供對應的更優解決方案。所以過去傳統的中間件市場陸續發生變遷，逐一轉換為在云計算平臺上的某項服務。比較常見的開發平臺服務包括：

通訊：提供音視頻通信、消息推送、短信、郵件等服務

地理信息：提供地圖、定位、導航相關的服務

應用開發框架：提供應用開發環境和運行時環境

媒體服務：提供圖片和音視頻等媒體文件的編碼、加工和存儲服務

機器學習框架：提供面向AI應用開發者的機器學習數據標注和模型訓練平臺

小到發送一條驗證碼短信也是一項PaaS服務。

作為PaaS服務，主要是為開發者服務的，所以除了功能性服務以外，PaaS廠商也要提供開發友好性相關的周邊能力，比如彈性擴展的能力，調試和控制權限的能力等。參與的開發者越多，一項PaaS服務就能夠有更多的改進機會和攤低的平均成本。

PaaS服務是不是一定由獨立的PaaS廠商來提供呢?不一定。實際上，主流的PaaS服務大多被IaaS公司所覆蓋了。如果你打開阿里云的產品列表，在數百個產品中，你會發現基礎云服務只是其中一個門類，其他十幾個門類都是和開發環境有關的服務。這意味著，一家創業公司想要獨立成為一家成功的PaaS廠商，需要相當聚焦地執行，而且產品有明顯的技術度。一旦做到這一點，也不用擔心和基礎云公司的競爭，因為我后面會講到云計算市場的技術發展，其中已經有眾多的技術趨勢保障了獨立性PaaS公司建立跨云服務的獨特優勢。

以上說的是云計算服務過去十五年發展中的一條脈絡，從基礎云到應用的共生，再到日益豐富的開發平臺即服務。云計算覆蓋的用戶越來越多，依賴的是這三個層次的服務互為補充。

趨勢二：從公共云、私有云到混合云，再到多云

第二條脈絡有關云計算服務的部署模式(Deployment Model)。當云計算概念被提出時，它顯然指的就是公共云服務，客戶不需要保有任何基礎設施，直接像水電煤一樣使用云計算資源就可以。但是商業的現實和技術企業的理想之間總是存在溝壑。云計算到底是技術還是服務，在很長一段時間內是缺乏共識的。

在云計算服務開啟之前，很多大型企業和組織都有自己的服務器。2010年，全球服務器市場就有500億美元的規模，這些服務器大多數都賣給了企業和政府。企業擁有了這些基礎設施，難道再花錢買公共云服務嗎?既然云計算技術這么好，為什么我自己來實現呢?政府、金融、醫藥等行業客戶更加不可能在公共云計算服務誕生的初期就義無反顧地采納，他們有各種各樣所謂的合規要求。

私有云 (Private Cloud)

果不其然，有需求就有供給。2010年Rackspace和NASA公開了一個叫做OpenStack的開源項目組。它包含了一系列用于構筑云計算服務的開源軟件。這意味著，所有擁有硬件基礎設施的用戶都可以用很低的成本來實現和AWS類似的技術架構。Rackspace是一家IDC公司，它這么做的動力顯然是很強的。它認為只要幫助客戶解決虛擬化問題，自己的主機托管生意一樣可以興旺發達。

雖然軟件是開源免費的，但是要實施Open Stack依然需要云計算相關的專業知識。因此，從2010年開始，出現了很多基于OpenStack幫助企業建立私有云的服務商。在國內，公共云服務商甚至都提供過這類服務。十年過去了，這股由OpenStack帶起的私有云風潮基本告一段落。除了極少數大型用戶在經濟上能夠承受自己維護獨立的云計算平臺，絕大多數用戶根本無法得到經濟上合理的回報。虛擬化只是云計算服務的一個技術前提，但并非所有的價值。私有云方案永遠無法利用到資源彈性利用(可大可小)和真正的規模經濟效應，除非用戶根本不關切經濟理性。

在中國市場，重點行業可能至今依然無法使用商業云服務，但是電信運營商和一些國家級的科技企業也在公共云服務商的幫助下建立了各種行業云。比如移動云，聯通云和電信天翼云都是這樣形成的，他們為金融、政府、交通、教育等重點行業提供公共云服務。

故事到這里，似乎公共云已經大獲全勝。但是，商業現實又回來了。在越來越同質化的云計算服務市場，客戶難道完全沒有議價能力嗎?客戶的需求如果不能得到滿足，總有供應商會愿意創新。于是混合云(Hybrid Cloud)出場了。

混合云 (Hybrid Cloud)

其實混合云并不是什么獨特的云計算技術，它實質上是一組通訊服務。只要堆上足夠好的網絡設備和奢侈的專線連接，世界上任何地點的計算設備都可以組成高速專網。即便客戶預算有限，只要對安全性和連通性的要求沒有那么高，也可以自助搭建經濟的網絡。圍繞通過商業網絡連接組建混合云的技術被稱之為“SD-WAN”(軟件定義廣域網)。有了網絡連接，就可以把客戶自有的計算設施和公共云計算設施連接在一起，稱之為“混合云”。

混合云對客戶的好處是明顯的。首先，每個企業都可能有云計算基礎用量，但也可能有短期的激增需求。有了混合云，客戶就可以圍繞自己的基礎用量采購自有IT資產，自己運營私有云，而短期波動的增量則可以通過公共云服務滿足，等需求高峰過去，就可以去掉這部分的開支。企業也可以將運維難度比較低的基礎云服務保留在自己的設施內，而同時使用公共云提供的復雜計算服務，比如機器學習平臺等。Dropbox是一個大規模的SaaS應用，它在2016年做了很大的架構調整，大部分的服務不再使用AWS的公共云，一舉節省了7000萬美元的年度云計算開銷。

混合云策略現在已經得到了廠商和客戶的雙重支持，它終結了公共云和私有云非黑即白的爭議，讓整個IT產業更加務實。這其中也誕生了很多的商業機會。微軟，亞馬遜，IBM，Google等的云計算廠商都推出了自己的混合云解決方案。因為混合云方案主流化，云計算廠商的競爭開始從基礎云資源的成本向應用開發生態環境遷移。因為在混合云架構下，客戶面臨如何規劃流暢的數據連接，如何快速交付云原生應用的新挑戰。所以，云計算的終極競爭不是硬件的競爭，也不是軟件的競爭，而是應用開發和部署(AD&D)環境的競爭。

多云 (Multi-Cloud)

多云概念是云計算市場最近幾年出現的概念。它把所有的云計算平臺，客戶的私有云設施全部視作一般基礎設施。所有的應用在所有的云上都能一致并可靠地運行。多云解決方案不僅是基礎設施提供者需要協調的，更重要的是應用開發和部署要面向多云運行目標。

2013年，Y Combinator孵化企業Docker Inc開源了Docker項目。它成為應用跨云部署的重要前提。Docker允許用戶將復雜的應用、數據和依賴的環境，包括操作系統本身打包到一個“容器”中，通過標準的Docker引擎，在任何計算環境中都可以一致地運行。有了這項技術，把一個應用系統從阿里云轉移到騰訊云就和傳輸一個文件一樣簡單，云和云之間已經沒有邊界。為什么Windows和mac OS的應用永遠不兼容，而云計算廠商卻眼睜睜地看著這些事情發生呢?很簡單，因為整個云計算技術生態都建立在開源軟件上，亞馬遜再大，它也只是一個服務提供者，收的是租金。而客戶方，則越來越看重自主可控性，他們不希望被單一的云計算公司鎖定，畢竟自己的客戶和交易數據都運行在云計算上，它是所有企業的命脈了。

2015年，Google開源了Kubernates項目，讓多云解決方案更勝一籌。K8S能夠對容器的創建、擴展等進行自動編排。這意味著無論應用有多么復雜，它都能夠在多云環境中進行統一運維。比如自家的某種類型存儲用完了，就可以臨時購買一些亞馬遜的存儲。數據過時了，就定期自動地轉移到低價格的冷存服務中。

有了多云技術框架和服務，同時意味著云計算平臺必須提供廣泛支持。阿里云當然希望多賣一些云主機服務，但是如果因為技術框架落后，客戶就會流失。所以，全世界的云計算平臺目前都義無反顧地支持了多云策略，希望在這個過程中繼續以專業服務商的地位存在。

多云策略對應用開發者的影響也很大。首先開發者必須從第一天就按照云計算環境來規劃，支持多云部署，自動伸縮，采用微服務架構以實現容器部署。其次，應用開發者也能夠從這樣的架構中受益。因為它使得客戶獲得私有軟件也像應用SaaS一樣簡單，唯獨不同的是應用和數據運行在客戶控制的計算環境中，但是軟件本身都是基于單一代碼庫的(Single Code Base)。我們明道云原來是一個SaaS形態應用，客戶只需要在mingdao.com上注冊即可使用，現在，通過容器技術，我們的客戶也可以在自己的云計算環境中安裝和升級。這些都有賴于多云技術架構。

前面我們提到了云計算公司的競爭將向應用開發和部署環境遷移。那么它具體指的是什么呢?它有關于圍繞云計算相關的四個技術領域。Tom Siebel把他們概括為云計算本身、大數據、人工智能和物聯網。

接下來，我們會逐一介紹這十五年來，伴隨云計算發展起來的數字化技術領域。正是因為云計算服務的普及，才催化了這些新興的技術領域，反過來，這些技術領域的發展也讓現代云服務更加完善，當然也更加復雜。正是這些復雜性，讓企業數字化轉型工作變得阻力重重。相較于更早前的基礎信息化工作，企業屆要認知和掌握的技術范疇要比寬廣得多。因此，我們介紹云計算的發展簡史，就必須要把關聯技術域的發展也一并介紹。

云計算相關的技術領域 大數據(Big Data)

在大數據概念出現之前，數據存儲、處理和分析的技術早已存在。隨著存儲成本的下降和云計算提供的彈性計算能力增強，越來越多的數據場景已經不能被傳統的數據庫技術所處理。這些新場景可以被概括為高數據量(Volume)，高頻度(Velocity)和多數據類型(Variety)三個特點。比如在電子商務、金融和物聯網領域，系統往往在很短的時間內會產生大量的數據。這些數據甚至在存儲的過程中就會產生瓶頸，更不用說實時性很強的計算和分析。所以，從搜索引擎時代開始，大數據相關的技術就開始孕育。

MapReduce和Hadoop

搜索引擎的霸主Google成立于1998年，幾年以后，Google的搜索服務所承載的數據量已經是一個天文數字，而且還在以光速增加。傳統的數據處理技術完全依賴硬件算力的鋪陳，這會讓Google在未來的發展中不堪重負。2004年，Google在內部推出了GFS分布式文件系統和分布式計算框架MapReduce。前者解決了單一硬件資源的限制，后者通過一系列數學原理，將多類型的數據進行切片并分散存儲在特定的分區中，這個設計能夠讓未來的計算和分析大幅提效。MapReduce的技術原理是大數據技術發展的最重要基礎。

很快，開源軟件領域開始響應這項技術方案，Lucene項目創始人Doug Cutting在2006年正式獨立出Hadoop開源項目，在其中包括了分布式文件系統，在集群資源上的調度工具，以及最核心的大數據并行處理開發框架。有了Hadoop以后，那些面對海量數據分析難題行業從此有了更好的解決方案。只是在2006年前后，主要的應用行業還是互聯網行業本身。Yahoo，

中國的百度等都很快應用了Hadoop來解決海量數據的存儲和檢索問題。

Hive，Spark和流式計算

在隨后的幾年中，Hadoop相關的大數據處理技術繼續得到增強。Facebook開源的Hive分析工具用更高層和抽象的語言來描述算法和數據處理流程，能夠用SQL語句進行大數據分析，這大大降低了使用者門檻，也提升了大數據技術的應用效率。不要小看這項改進，它讓全世界大多數現有的數據分析人員可以輕易掌握大數據技術。

2009年，加州大學伯克利分校的AMP實驗室開發了Spark開源集群計算框架，通過完善API和庫，提供更完善的能力和通用性。而且Spark的特色是能夠將數據存儲在內存中，所以數據處理和查詢效率要比利用硬盤存儲的MapReduce框架快百倍。目前，Spark已經加入Apache Software Foundation，成為Apache開源項目中的明星項目，被大數據技術領域作為最重要的工具框架。

至此為止的技術?；窘鉀Q了針對海量數據批量進行處理和分析的需求。比如零售業企業如果需要研究顧客和交易數據，從而對顧客群進行特征細分，這些技術就足夠了。但是，數字化技術的發展總是會刺激出更高級的需求。比如，在線上零售中，商品和顧客的行為數據是永續不斷在發生的，我們希望在數據發生的時刻就立即進行計算，及時地給顧客推送一張個性化的優惠券，而不是定時進行某種批量計算，這時候就需要大數據技術的一個分支—流式計算。

流式計算的常用框架包括Storm和Spark Stream和Flink，他們在零售和電子商務行業中的交易分析、金融風控、物聯網中的態勢監控、車聯網中的自動駕駛等領域都被廣泛應用。2019年，阿里巴巴用1億美元收購了Flink，是因為我們用的淘寶天貓中的搜索、商品推薦，包括雙11的實時監控大屏數據都是由Flink來驅動的。Flink用幾乎無延遲的速度截獲雙十一最后一秒鐘結束后的GMV數值，可見它在實時處理數據方面的性能。

NoSQL數據庫

與大數據技術同步發展的還包括NoSQL(非關系型)數據庫市場。在上個世紀，大多數商業數據庫都是關系數據庫，通過SQL語言進行數據處理和查詢。當大數據技術發展起來后，技術專家們發現數據庫完全可以用不同的形態來存儲數據，這樣可以大幅減少數據分析過程中的預處理工作量。所以，從2009前后開始，各種NoSQL數據庫開始進入市場。

下圖是維基百科上針對NoSQL數據庫類型的分類方法：

讀者可以忽略其中的細節技術語言，只需要了解不同類型的NoSQL數據庫會有利于特定場景的應用開發。比如文檔數據庫采用JSON格式存儲，可以隨心所欲定義不同的數據結構，而且橫向擴展性很強(數據規模增大后可以保證查詢效率)。我們明道云的工作表就是利用了文檔數據庫MongoDB作為存儲方案。

NoSQL數據庫普遍支持分布式文件系統，所以都具備很強橫向擴展性。和關系數據庫相比，NoSQL數據庫大多不具備事務一致性，但是這個犧牲交換得到數據處理的效率，因而作為大數據技術相關的常見存儲方案。

云計算平臺上的大數據服務

以上我們介紹了大數據技術發展依賴的各個重要技術棧。很顯然，和傳統的應用開發相比，大數據技術相對更加復雜。它不僅涉及復雜的編程框架，還需要一個專業的運維體系。這使得大部分普通企業用戶很難自己來搭建大數據開發環境。所以云計算平臺在基礎云服務之外，也開始結合云計算資源提供大數據服務。阿里云上的MaxCompute是一個全托管的大數據SaaS服務，用戶甚至無需管理主機基礎設施，直接按照大數據計算任務量付費。順便說一下，這種直接將計算服務提供給開發者的模式被稱為“無服務器”(Serverless)計算，它的目的是為了簡化開發工作中的運維任務，讓開發者聚焦在應用開發上。不僅僅是大數據領域，在AI，物聯網等其他技術領域，無服務器服務模式正在日益成為主流。E-MapReduce則是一整套大數據相關的PaaS服務，用戶可以選擇利用現成的服務在自己控制的云主機上完成部署，客戶主要支付的是基礎云的資源費用。和阿里云類似，亞馬遜AWS等其他云計算平臺也提供豐富的大數據相關平臺服務。

應用領域

我們前面提到大數據技術起源于搜索引擎應用。在隨后的十多年中，它的主要應用場景依然還是在互聯網領域。最常見的應用包括計算廣告(依據用戶和內容數據動態決定廣告投放策略和定價)，內容檢索和推薦(百度、頭條)，商品推薦和營銷活動優化(淘寶、拼多多)。不要小看這幾個場景，它們幾乎和互聯網用戶上網過程中的每一分秒都有關系，所以創造了巨大的經濟價值。

數據的價值當然不僅僅局限于互聯網行業，幾乎每個產業都有機會在大數據技術的幫助下發掘出數據的價值，或者改善運營效率，或者發現出新的業務機會。金融行業是較早的受益者。銀行貸款業務中的風險控制、零售和結算業務中的欺詐發現、保險業務中的精算和保單個性化定價、證券行業中的期貨定價和股價預測等都實實在在在創造出財富。

大數據在研究和開發領域也在大顯身手。在生物醫藥領域，大數據技術在幫助縮短藥物研發的周期和提高成功率;合成化學行業也在利用大數據和機器學習技術來加快發現新材料。有人甚至認為數據科學將成為實驗、推演和仿真以外的一種新的科學研究方法，成為“第四范式”。

大數據在城市交通、社會治理、能源傳輸、網絡安全、航空航天等領域也都已經有了現實的應用。但在這些資本投入密集的領域之外，大數據在一般行業和企業中的應用依然道路曲折。這不是因為大數據技術不夠完善，而是諸多行業尚未能夠明確抽象出大數據應用的價值以及可付諸實施的方法論。正如前面提到的，云計算和大數據對于普通中小企業來說依然是一個模糊的技術工具，一般企業也很難雇傭大數據專家，而專業服務企業目前還沒有找到利用自己的技術專長提供普遍服務的有效機會。通用領域中的大數據應用還停留在理念階段。所以，在過去幾年出現的大數據技術公司大多都還在服務金融、公安、交通、能源等大客戶集中的行業。

突破的關鍵點可能在兩個方面，一是大數據技術棧本身十分復雜，當下的工具還依賴專門訓練的計算機專家，產業還沒有抽象出一個通用領域的應用模型，也無法提供一個類似SaaS這樣友好的應用界面。這值得數據技術領域和企業應用領域中的跨界專家來探索。二是企業數字化建設還剛剛開始，很多企業缺失穩定和可靠的數據采集和記錄的過程。如果沒有數據流，自然就不會有大數據應用。因此大數據技術被廣泛應用可能還需要五到十年的時間。

人工智能(Artificial Intelligence)

人工智能的概念和基本原理起源早至1950年代。早期的人工智能研究集中在加州大學伯克利分校，麻省理工，斯坦福和南加州大學等計算機實驗室中。今天已經商業化的神經網絡算法就來自于半個世紀多前麻省理工大學的明斯基教授發表的《感知元》論文，但是計算機算力在當時實在是太弱了，以至于任何計算理論上的假設都很難付諸于現實。因此，在長達五十年的時間內，人工智能技術都停留在理論研究和一部分不成功的實踐上。

雖然人工智能領域經歷了漫長的冬天，但它所提出的機器向人類學習，并最終在特定領域能夠做得比人類更好的假設卻是千真萬確的。

千禧年后的AI復蘇

2000年以后，有幾大動因推動了人工智能概念的復興。首先，因為摩爾定律的存在，計算機的運算速度和單位存儲成本均用指數速率發展到一個新的階段。云計算和大數據技術也允許計算機用很快的速度處理TB甚至PB級的數據。其次，網絡服務的興起在諸多領域生產出豐富的數據，Google，Netflix和Amazon的業務就像數據機器一樣，每分每秒都能產生海量的用戶行為數據。

第三，在人工智能的數學方法研究中，AT&T貝爾實驗室的三位科學家(Tin Kam Ho, Corinna Cortes, 和 Vladimir Vapnik)在機器學習領域取得了突出的進展。機器學習技術可以將復雜和不確定的非線性問題通過線性的數學公式來解決。在解決不同的問題的過程中，機器學習理論方法和實踐被明確驗證。最早的一批互聯網企業，包括Google，Facebook，Linkedin等在這個過程中既提供了海量數據，也從研究過程中獲得了巨大的成果。尤其是Google，它是機器學習及其分支深度學習領域最重要的信奉者和推動者。2010年，Google成立了Google大腦，一個專注人工智能研究的內部組織，后來又收購了英國企業DeepMind。后者在2016年3月擊敗了人類圍棋冠軍李世石。

下圖是Tom Siebel在Digitlal Transofrmation一書中對AI技術進化史的一張插圖，顯示了從1950年代開始到現在的主要技術迭代歷史。

機器學習(Machine Learning)

機器學習是推動AI復蘇的最重要動力。它的興起標志著人工智能很長時間彎路的終結。要想讓機器比人做得更好，并不是依靠人來教機器規則，而是讓機器從歷史數據中學習。比如最常見的機器學習場景——物體識別，要想讓機器從各種照片中找出“貓”，只要讓機器學習各種各樣貓的照片對象。機器學習算法會將訓練用的貓圖像背后的向量特征總結為一個預測模型，讓這個模型預測任何一張新圖片中包含貓的概率。同樣的道理，語音識別、語言翻譯、人臉識別等都是使用的類似的原理。喂養算法的數據量越大，通常預測的準確率就越高。

機器學習應用可以分為有監督學習和無監督學習。前者需要人工參與訓練數據的標識，后者則通過數學方法自動聚類出存在相似性的對象。在缺少訓練數據的情況，無監督機器學習就會起到更大的作用。

機器學習的一個分支被稱為深度神經網絡(DNN)，它的設計已經高度參照了人類大腦神經元的連接結構。在深度神經網絡中，數據被輸送到輸入層，結果則從輸出層產生，在輸入層到輸出層之間存在多個隱藏層，每一層會對輸入數據的各個特征進行推斷，最終能夠得到更為準確的預測結果。打敗李世石的AlphaGo就是一個基于深度神經網絡的算法。但是，DNN對于用戶來說依然是一個黑盒子。設計者并不需要也不會知道神經網絡中的每一層到底在判斷什么具體特征，以及它是如何分解特征的。它背后都是高度抽象的數學方法。不管它有多么玄妙，深度神經網絡的確厲害，它不僅具備高超的自學習能力，而且還簡化了傳統機器學習中大量復雜和耗時的特性工程(Feature Engineering，通過行業專有知識來調優機器學習算法的過程)。

TensorFlow

2015年，Google開源了內部的TensorFlow框架，開始將人工智能計算框架作為一項云計算服務向外界提供。在核心開源庫之后，TensorFlow還陸續推出了Javascript版本，滿足在瀏覽器和Node.js上開發和訓練機器學習模型，以及在移動設備和IoT設備上部署的Lite版本。另外，TensorFlow Extended是一個端到端的機器學習生產平臺，它連帶提供了編程環境和數據處理工具。

當然，TensorFlow并不是唯一的機器學習框架，Caffe，Torch，Keras等都是。它們無一例外都是開源的。在云計算的前沿領域，軟件開源是一個普遍的策略。為什么如此復雜和高級的軟件都會義無反顧地選擇開源呢?一方面因為框架性產品本身并不直接包含商業價值，價值需要開發者進行二次創造，另一方面，在云計算服務的商業模式大前提下，通過API來提供封裝好的人工智能服務是一個非常容易實現的商業手段。這些開源產品的運營者沒有必要對框架進行收費。

人工智能服務

事實上，即便你不使用這些機器學習框架，也能直接使用人工智能服務。國內外云計算平臺都已經在通過API提供各色各樣的人工智能服務。這些服務已經完全封裝成應用開發接口，開發者完全不需要了解和處理復雜的機器學習過程，只要把自己當作用戶就可以了。

但是這些服務都非常具體和專向，并不存在任何通用的AI接口，每個接口只能為用戶解決一類具體問題。以下是阿里云AI類目下的服務分布。你可以看出這些服務都和用戶的某一個具體需求有關。比如語音識別可以讓移動開發者開發出讓用戶直接通過語音來控制功能的應用。人臉識別可以識別出影像中的人臉對象和實現身份對比驗證。

提供一次此類服務要收多少錢呢?在云計算平臺上，這類AI應用開發接口大多按照次數或者每秒次數級別(QPS)進行收費。比如識別一張身份證上的信息大約要收取1-5分錢，聽起來不少吧?

實際上，從事人工智能技術的企業并不僅僅是云計算平臺提供商。比如中國市場中，Face++，科大訊飛、商湯科技、寒武紀、優必選等都分別在計算機視覺、語音、機器人等領域有專長。但是它們的專向定位讓這些企業很難提供普遍的開發者服務。因為開發者往往希望在一個云計算平臺上獲得一攬子服務，而且用戶的基礎云資源也是從云計算平臺購買的。作為開發者來說，擁有一個統一和完善的應用開發環境是非常重要的。

所以，在人工智能的商業化中，還有不少企業利用自己的專向技術優勢來解決更加細分的問題。比如科大訊飛主要通過自己在語音和自然語言處理方面的技術積累為教育和司法等行業提供解決方案，中國法院的庭審文字記錄現在很多都是通過自動化的語音轉錄而實現的。商湯科技和曠視科技則主要在智慧城市和安防領域提供軟硬件一體化方案。還有一組創業企業專注于解決高價值的自動駕駛問題，并從中派生出更細分的AI芯片設計和制造企業。

技術棧和人才

AI相關的技術棧是前面介紹的大數據技術的一個擴展。也就是說，沒有離得開數據獲取和處理的人工智能項目。要把如此眾多的開發框架和微服務組合在一起，對于非云計算專業企業來說是非常困難的。除了技術棧的復雜性以外，開發者還需要搞定大規模訓練數據的獲取和處理過程，這個成本在短時間內一定會成為牽制企業投入的因素。

成本還是相對容易克服的問題，因為只要問題足夠值錢，有長期主義價值觀的企業總是愿意投入。但是更致命的問題在于AI相關人才的激烈競爭。能夠從事AI應用開發的團隊需要包含大數據相關的數據庫專家，深諳數學建模的算法專家，以及熟練掌握C++或Python等編程語言的高級程序員，同時還離不開有技術素養的業務專家參與。而在當下階段，云計算巨頭企業和專業企業像吸鐵石一樣吸引走了絕大多數專長人才，讓普通企業根本無從獲取。

考慮到AI技術的復雜性和專業度，它極可能像云計算服務一樣，大多數企業都只會成為用戶級別的角色，這就給專業開發者留下了創新的空間，看誰能夠進行足夠合理的抽象，組合出更加易用，面向通用業務場景的AI服務。

物聯網(Internet of Things)

消費產品引爆的物聯網普及

云計算服務的普及不僅為用戶提供了彈性伸縮的經濟性，還提供了一個泛在的可連接性。任何計算設備只要連上互聯網，就彼此通過TCP/IP協議能夠相互訪問。這個互聯價值在物聯網技術發展之前還僅僅限于傳統計算設備，也就是服務器和個人計算終端。在個人、家庭和企業世界，還有大量非傳統計算設備并沒有聯入這個數字化世界。

汽車、家電、個人穿戴設備、工廠的制造設備現在都已經有接入互聯網的條件，市場上流通的這些互聯智能產品也越來越多。當連接的設備豐富到一定程度的時候，各種智能化場景才能真正實現。IHS Markit預測到2025年，全球聯網設備總數量將達到750億個。萬物互聯，正是物聯網技術所追求的愿景。

具有數字化連接能力的非常規計算設備在上個世紀90年代就已經出現，比如可以無線連接的攝像頭。真正具備中長距離連接能力的設備首先出現在零售和工業制造領域，包括西門子，通用電氣等企業開發的工業設備互聯協議(M2M)。在當時，這些設備已經可以通過低速的無線局域網使用IP協議連接到工廠的控制中心。這樣的網絡被成為工業以太網。但當時商業互聯網并沒有開始發展起來，所以M2M的出現只能算作是物聯網技術的局部發展。

物聯網開始成型還是通過消費產品市場來推動的。2000年代初期，LG率先推出了可以接入互聯網的家電產品，一臺聯網冰箱售價高達20000美元，這顯然無法真正帶動市場。在隨后幾年中，像Garmin GPS和Fitbit智能手環這樣的消費電子產品開始獲得更大的產銷量，從而帶動相關的低功耗芯片行業發展。到了2011-12年，消費電子領域出現了更多的明星級產品，這其中包括后來被Google收購的家用傳感器Nest，Philip推出的Hue智能燈泡等。在中國市場，以小米為代表的智能手機廠商開始擴展到物聯網產品領域，推出了一系列圍繞個人和家庭的智能設備和家庭網關產品。蘋果也于2015年正式進入可穿戴產品市場，推出了Apple Watch，后來還推出了智能音箱HomePod。Google和國內的互聯網巨頭企業也都加入了這場通過新型個人數字設備爭奪用戶和數據的競爭。目前，全球可穿戴產品市場已經多年保持了40%以上的年度增長率。

個人和家庭智能設備的量產促進了和物聯網相關的協議發展和元器件成本的降低。在這期間，藍牙5.0，WiFi-6，IPv6，NFC和RFID等關鍵傳輸和通信協議得到進一步發展，讓設備能耗和連接速率都進一步提升。在同一時間，云計算基礎服務和大數據處理技術也起到了關鍵作用。物聯網設備往往在短時間內會產生大量數據，如果沒有前文提到的大數據技術棧，傳統的數據庫工具是無法承載的，同時云計算也是設備數據匯聚的海洋，今天幾乎所有的物聯網技術平臺都架構在云計算平臺上，他們是典型的互生行業。

物聯網的技術棧

物聯網相關的技術棧非常綜合。它橫跨軟硬件，既包含感知探測相關的硬件技術，也包含網絡傳輸和應用構筑的軟件技術。直至今天，物聯網相關的技術棧都沒有完全穩定下來，甚至很可能長期保持多元的特征。但是概括起來，整個技術棧還是有一些層次特征。

行業一般把物聯網相關的技術架構分解為四層，分別定義為和物理環境相關的設備感測層、和數據傳輸和通信有關的網絡層，IoT相關的平臺管理層，以及最終實現用戶價值的業務應用層。無論是針對消費市場還是企業市場的物聯網系統都會有這四個層次。

設備感測層是由各種類型的傳感器和可交互訪問的硬件模塊及其嵌入式軟件而組成的。例如溫度濕度傳感器、攝像頭、電源開關和插座和網關等。感測層設備不僅是單向獲取數據，還可能從外界接受指令改變硬件狀態(比如智能鎖)。行業內一般把這個層次稱為“邊緣”(Edge)。

設備感測層的技術棧主要由軟硬件協同開發的嵌入式系統構成。我們用的智能手機本質上也是一個嵌入式系統，只是它的嵌入度非常完整，甚至不亞于一臺標準計算設備。嵌入式系統開發經歷了早期的單片機和嵌入式操作系統/CPU階段，目前最前沿的是SoC(片上系統)，把一個專用系統的所有嵌入式軟件完全整合在一個集成電路上。今天的智能手機、智能電視等都是由若干個SoC整合而成的。在嵌入式系統中，固化在硬件上的軟件程序甚至依然可以得到更新，而且這種更新目前大多都可以通過連接互聯網實現，這種升級被稱之為OTA (Over-the-air)更新。

另外，設備感測層還需要解決設備的訪問協議問題。物聯網系統目前已經廣泛支持IPv6協議。IPv6能夠提供全球的IP地址總量高達2的128次方，這是一個天文數字，可以確保任何物聯網設備都能夠擁有獨立的IP地址，從而實現在全球的唯一尋址。當全球物聯網設備達到千億，甚至萬億數量級的時候，IPv6功不可沒。

網絡傳輸層要解決的是感測設備和計算設備之間，以及最終與平臺管理層之間的數據傳輸問題。根據連接性質不同，又可以分為短距、中距和長距類型，以及有線和無線類型。在這些連接協議中，藍牙、NFC、Wi-Fi、無線射頻(RFID)、4G和5G等是比較常用的。這些傳輸協議在設備側一般都是直接設計在板上系統上的，通過IP協議提供可訪問地址。開發者需要根據連接的距離、速率、功耗和成本等要求做出合理的選擇。

IoT平臺層是物聯網系統中至關重要的部分，它的出現也標志著基于云計算平臺的物聯網系統誕生。一個IoT平臺的核心作用是管理成千上萬的物聯網設備，包括他們的狀態，數據上報接收，建立對它們的控制，對設備進行運維分組，并能夠實現從云端往邊緣側的更新推送(OTA)。同時，物聯網平臺也要借用上文提到的大數據技術棧，對設備上報數據進行處理，并用各種數據庫完成存儲，這其中比較重要的數據庫類型就是時序數據庫。

更完整的IoT平臺還包括圍繞設備數據建立自動化工作流的能力，數據分析工具以及為更上層的應用開發提供數據開發接口的設計。

目前，主流云計算平臺都專門為客戶提供了物聯網技術平臺，結合基礎云和大數據相關服務獲取增值業務收入。阿里云，AWS，Azure和Google Cloud都有專門的解決方案，國內外也有專門的物聯網平臺技術公司將自己的解決方案架構在基礎云上或者提供跨云服務。

Oracle，Salesforce和微軟Azure等企業軟件廠商的物聯網平臺不僅提供了上述基礎服務，還結合了自己的企業應用套裝優勢，提供一站式的物聯網應用開發平臺。它們更適合企業物聯網系統建設。

最上一層的應用層是整個物聯網技術架構中最不標準化的部分。應用層最終要將連接的設備和數據用于具體的商業場景。比如共享充電寶就是一個物聯網系統，它的應用層包含面向C端的租用和支付系統，面向商戶的設備狀態報告，收益結算系統，以及面向運營部門的設備運維管理系統。換到另外一個物聯網場景，應用層的構成可能完全不一樣。

邊緣計算和AIoT

物聯網技術架構的基本思路是分層分工，感測層主要取得數據和建立對物理硬件的控制，數據通過網絡層和計算平臺連接，計算則在云端完成。但是隨著物聯網應用場景的豐富，設備規模的擴大，以及芯片技術的發展，邊緣計算概念開始得到認可。所謂邊緣計算，就是利用設備端和鄰近網關的計算能力處理和存儲數據，減少和云端的數據傳輸，從而實現更快速的應用響應。除了速度的提升，邊緣計算還能夠大幅減少云計算和數據傳輸成本。比如針對一個大型的視頻監控網絡，如果攝像頭將所有的視頻流數據都傳輸到云端，云端算力要求和成本將會非常高。而如果在攝像頭設備內部實現必要的視覺計算(比如識別異常)，整個物聯網系統的效率將大大提高。再例如廣泛應用的人臉認證和識別系統，如果不能依賴本地的設備計算能力，十億用戶的高頻度使用將會讓云平臺不堪重負。

上面兩個例子顯示了邊緣計算往往和人工智能應用相關，設備側往往完成的是模式識別類的人工智能算法，因此往往需要專門芯片的助力。Nvidia公司推出的Jetson系列模塊就是專門為邊緣計算場景而服務的。這些芯片模塊被安裝在機器人、自動駕駛汽車等邊緣設備上，所以這組技術產品也被稱為“自主機器”。因為物聯網和這些人工智能應用的結合，因此，這套技術方案也常被稱為AIoT。

應用領域

如果把2012年前后作為基于云計算的物聯網平臺技術發展開端的年份，僅僅八年左右的時間，物聯網應用領域已經發展得非常廣泛。只是我們身在其中，享受它帶來的便利，并不一定能夠感知它的存在。這個高速發展過程很大程度上受益于基礎云計算服務和大數據技術棧的同步發展。

在消費應用領域，個人穿戴設備已經從手表、手環發展到耳環戒指這樣的雜項。在智能家居領域，我們可見的家電、門鎖、照片、開關、音箱等都已經是互聯網設備。在個人和家庭領域，物聯網技術競爭已經不再重要，競爭的焦點已經遷移到內容生態和用戶網絡效應。在這些領域，蘋果、谷歌和國內的華為、小米等已經牢牢占據了地位。小米生態鏈重點指的就是依托米家體系的一群消費電子產品企業。

在工業、農業、交通運輸、能源和社會管理領域，物聯網的應用場景更為廣泛。我們的街道上已經密布了各種攝像頭，這些攝像頭通過專門網絡構筑了天眼系統;我們頭頂上的電力傳輸網絡和用電單位終端也已經完成了智能電網改造;礦場和工地上也都布滿了各種安全監控設備。這些都是最近十年來重大的IT投資。預計未來十年這樣的建設和更新依然不會結束。

云計算的未來

本文主要是對云計算過去十五年的一個回顧。技術領域的發展速度是如此之快，以至于我們很難預測未來的十五年會發生什么。在本文的最后，我僅僅對當下已經呈現的云計算市場趨勢做一些簡單的概括，它們甚至已經在發生，但我們不知道這些技術趨勢的發展具體會顛覆哪些巨頭，會催生出哪些明星。

存儲和計算的成本將進一步下降，但消耗會同步增長?？紤]到全球范圍內的計算服務還有大量沒有轉移到云計算環境中，未來十年基礎云服務的算力還會大量增加，服務單價會持續下降。

前沿技術將持續融合到云計算平臺，包括量子計算、AR/VR、區塊鏈等。尤其是那些依賴海量數據計算能力和彈性計算資源的應用，云計算是成就它們更快成長速度的軌道。

云計算的核心競爭將聚焦在應用開發環境的優越性上。誰能夠提供廉價、完善和前沿的開發技術棧環境，誰就能夠獲得更多的開發者用戶。當開發者用戶選擇了云服務商后，他們其實就為終端用戶做出了選擇。

多云、或稱混合云環境成為長期的企業應用策略，云計算用戶將綜合使用邊緣、各個云計算服務商和自有IT設施。

云計算開發技術棧會越來越復雜，這會讓應用開發領域的分工更加明確。面向終端用戶的應用開發將變得更加簡潔，應用生成的方式會越來越多元，無需編碼，依靠普通業務用戶建立應用程序的服務商會越來越多。

原文地址：http://cloud.idcquan.com/yzx/181584.shtml

網站標題：不懂的看過來：云計算簡史
本文網址：http://m.newbst.com/news21/200871.html

成都網站建設公司_創新互聯，為您提供面包屑導航、商城網站、品牌網站建設、標簽優化、App設計、網站維護

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯