基礎設施從2.0到3.0：雲計算Out，人工智慧革命亟需底層平台

來自專欄 維金的科技隨筆

編譯|維金

機器學習和人工智慧的時代已經到來。大數據、大容量存儲、彈性計算和各類演算法的發展，尤其是在深度學習領域的發展，帶來了各類腦洞大開的創新應用。

在圍棋這樣的複雜策略遊戲中，機器已經勝過人類。圖像識別、語音識別等應用更是不在話下。語音智能助手開始普及，全自動駕駛汽車上路測試。然而對於近期機器學習/人工智慧的這些發展，許多討論圍繞的都是演算法和應用，很少有討論涉及底層基礎設施。

在計算技術的發展早期，只有彙編語言專家、編譯器專家和操作系統專家才能開發簡單的應用。目前的情況也很類似，只有獲得統計學或分散式系統專業的博士學位，你才能知道如何開發人工智慧系統並大規模部署。缺失的環節在於加速人工智慧開發的抽象化工具。因此，只有最精英的工程團隊才有完整的能力去做這方面工作。

另一方面，相對於機器學習技術的創新，基礎設施的發展也很落後。簡單來說，作為當前機器學習應用基礎的系統和工具實際上並不適合未來智能應用的演進。面向未來，業內需要新工具去釋放人工智慧的潛力，讓人工智慧更加平易近人、更加實用。所以在基礎設施創業領域，提供智能系統開發所需的模塊，這將是未來的一座大金礦。

從基礎設施1.0到基礎設施2.0

應用和基礎設施之間的關係很微妙，相互限制、相互推動。

硬體和系統軟體的發展帶來了新一類應用。這些應用不斷完善和成熟，從而對底層資源提出更高的要求，倒逼底層基礎設施去創新。反過來，基礎設施的優化、創新、性價比提升也會帶來顛覆式應用，給用戶提供前所未有的體驗。一個典型的例子就是從幻燈片到PPT，再到各種在線圖片社交平台，例如Pinterest。

本世紀初，商業互聯網的發展基於來自英特爾的x86指令集，來自微軟的標準化操作系統，來自甲骨文的關係資料庫，來自思科的乙太網設備，以及來自EMC的網路存儲工具。亞馬遜、eBay、雅虎，甚至最初版本的谷歌和Facebook都基於這些基礎設施。這就是科技行業的「基礎設施1.0」。

然而隨著網路的逐漸成熟，網民總數從1995年的1600萬增長至2015年底的30多億，應用對規模和性能的要求也大幅提升。「客戶端/伺服器」時代的技術不再適合互聯網巨頭的需要，無論是從可行性上來看還是從性價比上來看。

因此，互聯網公司開始自力更生。憑藉自身的技術專業能力以及學術界進展，谷歌、Facebook和亞馬遜定義了全新一類基礎設施。這樣的基礎設施具備如下特點：規模可擴展、可編程、通常是開源的、成本低。相關技術，包括Linux、KVM、Xen、Docker、Kubernetes、Mesos、MySQL、MongoDB、Kafka、Hadoop和Spark，定義了雲計算的時代。這也被稱作科技行業的「基礎設施2.0」。

最核心的，這代技術的設計目標在於，讓互聯網可以覆蓋數十億終端用戶，並以高效的方式去獲取並儲存來自這麼多用戶的信息。因此，「基礎設施2.0」的創新導致了數據量的大幅增長。配合併行計算技術和演算法的發展，我們就看到了當前機器學習的發展。

基礎設施3.0：走向智能系統

「基礎設施2.0」時代的終極問題是：「我們如何連接世界？」而當前的問題更多的是：「我們如何理解世界？」

這其中的差別，即「連接」和「認知」，可以解釋人工智慧與上代軟體的關鍵不同。代碼自身的「認知能力」顛覆了傳統編程模式。在傳統應用中，程序邏輯是寫死的，而在人工智慧應用中，演算法通過對大數據的分析自己得出邏輯。隨後，這些邏輯被用於決策和預測。

這樣做的結果就是「智能」應用。但實際上，這類應用的誕生需要大量數據，並且耗費巨大的計算資源。這些限制因素導致人工智慧很難被通用化，從而符合70年前馮·諾依曼提出的計算範式。所以，人工智慧代表了一種基礎性的新架構，要求我們重新思考基礎設施、工具和開發實踐。

到目前為止，人工智慧領域的研究和創新仍集中於新演算法、模型訓練技術和優化方法。此外，人工智慧系統中只有很少一部分的代碼用於學習和預測，而最麻煩的部分在於準備數據、開發功能，讓分散式的基礎設施能夠運行，從而規模化地執行任務。

如果想要成功開發並部署人工智慧應用，那麼就需要協調多個離散的系統，設計精密的流程。首先，你需要消化數據，去蕪存菁，給數據打上標籤。隨後，為了實現預測，你必須確定適當的特性。最後，開發者必須訓練模型並驗證、部署、持續優化。整個過程可能需要幾個月時間，即使是技術最專業的組織也是如此。

如果想要讓人工智慧發揮最大的潛力，那麼就必須從當前的學術理念中提煉出可以實際操作的要點。在實踐中，這意味著需要進行新抽象、設計新界面、系統和工具，幫助開發者更方便地開發和部署智能應用。

這很可能不會是漸進式的改變，而將是顛覆性的、基礎性的變革。設計方式和開發方式都將發生巨變。

對應地，在整個體系的每個層面，我們都在看到新平台和工具出現，嘗試對人工智慧開發範式做出優化。機會確實很多：

1. 集成多個計算核心，支持高帶寬存儲的專用硬體正在出現。這些晶元針對高並發數值計算進行優化，更適合神經網路所需的快速、低精度、浮點計算任務。

2. 系統軟體將針對硬體配置提升效率，甚至充分發揮每個晶體管的能力。

3. 無論是用於訓練還是推理，分散式計算框架可以有效地擴大跨多個節點的模型運行。

4. 數據和元數據管理系統帶來了可靠、統一、可複製的數據儲備，為訓練和預測提供並管理大數據集。

5. 基於實時數據和內容，超低時延的服務基礎設施讓機器可以迅速執行智能操作。

6. 模型表達、問答、調試和監控工具有助於大規模地監控、調試和優化模型和應用。

7. 端到端平台可以將整個人工智慧工作流封裝起來並抽象化，簡化終端開發者面臨的複雜性。這方面的例子包括Uber的Michelangelo和Facebook的FBLearner，已經商用的則包括Determined AI。

過去10年，我們在技術方面看到了「雲計算物種」的興起。類似的，未來幾年，我們將看到，圍繞機器學習和人工智慧將誕生全新的基礎設施和工具生態。

這些創新的集合就是「基礎設施3.0」，而這也將充分釋放人工智慧的能力，給智能系統的建設提供模塊化工具。我們將看到新的項目和平台，以及新公司的崛起。

註：本文作者Lenny Pruss是風投Amplify Partners合伙人，專註於分散式系統和基礎設施、開發工具和信息安全。