AI計算力6年提升30萬倍，遠遠遠超摩爾定律 | OpenAI分析報告

來自專欄 量子位

指數栗 編譯自 OpenAI

量子位 報道 | 公眾號 QbitAI

眾所周知，人工智慧近年來發展迅猛，計算能力的提升功不可沒。

為了感受這個速度，OpenAI發布了一份分析報告，說的是2012年開始，AI訓練所用的計算量呈現指數增長，平均每3.43個月便會翻倍。

對比一下，摩爾定律的翻倍時間是18個月。從2012年到現在，計算量擴大了300,000倍。如果是周期是18個月，那隻會擴大12倍。

看著計算力對AI發展的影響，如果按這個趨勢發展下去，未來系統的能力可能會遠遠超過我們今天的想像。

圖表顯示的是每隻AI的計算量，以petaFLOPS-day (pfs-day) 為單位。一個pfs-day)，是一天中每秒進行10^15次神經網路運算，或者說每天10^20次運算。

計算速度乘以時間，可以給人類一種比較直觀的感受，就像千瓦時一樣。

注意一下，這些數據並不是硬體的理論峰值，而是估算實際進行了的運算次數。

每個加法，每個乘法，都看做一次運算，不論數值精度怎樣 (這樣看來，說是FLOP可能有些用詞不當) 。另外，這份報告並沒有考慮集成模型。

單個模型的計算量

AI的發展中有三個因素至關重要：演算法革新，數據 (可以是監督數據，也可以是互動式環境) ，以及訓練可用的計算量。

演算法革新和數據這兩項上的進展，都比較難追蹤。相比之下，計算能力還是可以量化的，給了人們評估AI發展進程的一個方式。

系統完成大量計算的時候，常常會讓演算法中的一些短板暴露出來。不過，至少在許多現有領域，更大的計算量表現為更好的性能，也與演算法的發展相輔相成。

報告認為，單個GPU的速度不是最有用的數字，最大數據中心的容量也沒那麼重要。相比，訓練單個模型所需要的計算量，才是更好衡量標準，可以反映模型到底有多強大。

單個模型的計算量，和總計算量有很大的不同。因為並行性的限制，會影響模型的大小，以及它能夠接受怎樣的訓練。

當然，即便沒有那麼大的計算量，也可以產生重大的突破。不過，這份報告只討論了計算能力。

運算速度呈現快速增長，一部分原因可能是，在GPU/TPU價格相同的情況下，定製硬體能夠支持每秒更多次的運算。不過，主要原因可能還是研究人員一直在探索，讓更多晶元並行的方法，且願意為此投入大量資金。

兩年就是一個時代

我們大概可以從圖中看出四個不同的時期。

· 2012之前：GPU在機器學習里的應用還不多見，彼時取得成就相對艱難。

· 2012-2014：在許多GPU上訓練的基礎架構還很少，所以大多成就都是用1-8個GPU、1-2 TFLOPS的運算速度達成的，相當於0.001-0.1 pfs-day。

· 2014-2016：100-1000個GPU，速度在5-10 TFLOPS，結果是0.1-10 pfs-day。數據並行獲得的收益越來越少，更大規模的訓練價值有限。

· 2016-2017：出現了大批量處理、結構搜索、專家迭代 (EXIT) 等支持更強並行性的方法，還有TPU等專用硬體和更快的互聯，衝破了局限。

AlphaGo是大規模並行演算法最有名的栗子之一，不過很多規模相似的應用，現在在演算法上都可行了，並且已經應用在生產環境里。

車要開得快，還是開得穩

分析認為，圖中顯示的增長趨勢很可能持續下去。

許多硬體領域的初創公司都在研發AI晶元，其中一部分還宣稱，能夠在未來1-2年內大幅提升FLOPS/Watt，即提升FLOPS/$。除此之外，重新配置硬體也可能為同樣的運算速度降低成本。

至於並行性，最近發生的許多演算法革新，理論上都可以用「乘法」組合在一起——比如結構搜索和大規模並行SGD。

問題是成本可能抑制並行性的發展，晶元的效率也會受到物理方面的限制。但問題是可以解決的。

報告認為，雖然最大規模的訓練所需的硬體，要花費數百萬美元；不過，目前大多數神經網路計算都不在訓練上，而在部署上。

這就是說，公司可以調整晶元的用途，或者有能力購買更多的晶元用於訓練。

因此，如果能夠刺激更多的資金投入，我們就可能看到更加龐大的並行訓練，增長趨勢也會持續更久。

這個世界的硬體總預算，達到了每年1萬億美元，所以成本上的壓力都不是太強硬的挑戰。

根據數據、指數增長的先例、機器學習專用硬體的發展以及經濟因素，OpenAI認為短期內增長趨勢還會繼續。

以往趨勢並不足以預測，正在發生的增長會持續多久，也不足以判斷，增長過程中會發生什麼。不過，就算只是一個合理假設，我們也有理由開始重視安全問題和惡意使用問題了。

要制定政策，要負責任地發展科技，預見是非常重要的。

未雨綢繆，好過亡羊補牢。

結尾有代碼的報告傳送門：

https://blog.openai.com/ai-and-compute/

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態