天河二號對人工智慧的行為模式開發上有什麼作用？

01-16

傳統超級計算機目前並不適用於人工智慧領域。

因為超級計算機價格昂貴。

現在很多超算在節點上是有GPU的，例如美國Oak National Lab的Titan超級計算機，所以從原則上來說，用超算來做deep learning是完全沒有問題的。

但是就以Cray XC40來說，光購買成本就在$8000W+，還不算每年維護預算（電費和人力成本）。

及時你有錢，別人也未必打算賣給你，原因你懂得。

對於超級計算機來說，目前deep learning規模實在是太小了。。。。真的是太小了。。。。

目前主流的超算性能是在petascale級別(千萬億次計算每秒)，Jack Dongarra等人宣稱2020年左右，將會出現Exascale(百億億次計算每秒），你覺得以目前deep learning的訓練集能scale到這種程度嗎？還完全用不上好不好。GPU, FPGA, TPU，分散式等技術目前已經夠用了。

@SS Wang ，超算還是蠻有用的，何不去隔壁找James Demmel, 或者他老婆 Katherine Yelick問問？或者去旁聽下CS267啊。去你們山頂實驗室問問？嘿嘿

所以問題在於用不上那種性能超強的傳統超級計算機，因為不划算啊。

但是當一個完全不同的東西達到很好的性能的時候，也就自稱是超級計算機了，比如NVIDIA DGX-the world』s first deep learning supercomputer in a box - See more at: http://www.nvidia.com/object/deep-learning-system.html

超算目前主要用於科學計算：

1. 流體模擬大氣，海洋，氣候變化啊，各種PDE爽翻天

2. 天體模擬，分子模擬各種N-body問題

3. 各種矩陣分解Solver, LAPACK，LINPACK, PAGMA, MAGMA等等，對這群人要有敬畏之心，辛苦自己，照亮他人。

4. 高精尖製造業飛機汽車等等都需要超算來做模擬，以減低實驗成本

5. 石油，石油，石油！！！重要的話我不會再說

超算做人工智慧是沒問題的，強大的性能反而還有優勢，但是與傳統的分散式集群的低門欄，成本低相比，超算對於工業界是很難採用的。如果你觀察超算的所在地就會發現，主流的超算主要集中於國家實驗室，用於國防軍事與基礎科學。訪問許可權相當高，記得我申請訪問超算資源, 硬是連國籍，護照等等都查了一遍，廣泛的被外界訪問是不現實的。如果業界自己購買超算，第一購買成本很高，第二能直接在上面運行的工業界應用程序很少，單獨為了一個還不那麼靠譜的深度學習購買超算，實在是有點浪費計算資源。而分散式系統，成熟可靠，能夠運行很多現有的應用，使得計算機資源不會閑置。就如你所說的天河二，我曾經和浪潮的老總交流過，一年絕大部分時間，天河很多時候都是閑置或者半閑置，很難達到負荷狀態，如果不是國家戰略需求，我覺得還是有點浪費資源，有點堆硬體的感覺，雖然性能世界第一，但是能耗呢？恩。。。。你懂得。我也期待HPC和deep learning的進一步融合，具體看看這些超算廠商怎麼調整：Future Cray Clusters to Storm Deep Learning 。

不同意這個問題的一些答案。超級計算機價格昂貴和深度學習規模小並非不使用超級計算機的理由。

超級計算機昂貴是真的，不過真的想用的話人工智慧、機器學習和深度學習領域方面不缺錢。此外，現實情況下公有和學術界的超級計算機是共享使用的，絕大多數單任務其實難以超過一個普通深度學習優化問題的計算量。

那為什麼人工智慧、機器學習和深度學習的任務不常使用超級計算機呢？這有兩個有關超級計算機的實用狀況要考慮。

第一個狀況是，我們常常看到超級計算機大都適用於計劃性的任務，不適合交互性的任務。然而，人工智慧、機器學習和深度學習等這類快速發展的學術領域需要大量的實驗，需要快速的原型開發、建模並進行高交互性的任務執行。這和公共超級計算機在模擬、製造和生產方面的任務需求有本質不同。把所有的交互性的實驗任務計劃性地運行會極大的降低研究者的工作效率，甚至浪費計算資源。

但是，人工智慧、機器學習和深度學習的已經取得了較大發展，產生許多實用的方法和模型。這些已經經過實踐的模型是可以進入生產運行並成為計劃性的任務的。那為什麼沒有在這些超級計算機中看到這些任務呢？那是因為在業界這些模型大都在谷歌、臉書和百度等公司內部的計算機上運行。這就是超級計算機的第二個狀況，即這些公司擁有的計算能力是可以和頂尖公共超級計算機媲美的，但是它們永遠不會出現在那些排行榜上。不過有時候，我們可以通過某些論文來管中一窺。

當然了，歷史上有些人認為所有的演算法都是人工智慧的演算法，所以所有的程序不論是不是在超級計算機上執行都是人工智慧程序。對這種看法各位看官可以自行斟酌。

顯然有用，只是能接觸到的並想用的人太少而已

機時這麼寶貴，你用來訓練?

沒有用。

大數據可以用spark這樣的分散式，訓練神經網路可以用多GPU，以後可能會有專門的硬體代替GPU訓練神經網路。真不知道超級計算機有啥用。

如果特指模式開發，關係並不大，天河二號現在更偏嚮應用計算

當然常年在上面跑的矩陣分析還是有助於相關研究的

單純做機器學習，並沒有必要用天河二號

我們實驗室申請的節點，用得還沒有自己的超算伺服器多，並行化深入學習上，英偉達特別開發的gpu伺服器顯然更合適

但是天河二號在超量級的任務處理上是無可替代的，是我們，至少國內的機器學習研究者並沒有多少達到必要使用的等級

反正我們當年研究卷積網路並行化時候並不覺得多有必要

最後歡迎關注廣州超算科普基地這個公眾號，是我們實驗室合作天河二號中心的科普類信息平台

手機回答，無條理無格式見諒

有的是人跑deep learning。我就跑過，不過不是天河2。天河2的賬號用不了那麼多節點。

超算就是一個共享資源的平台，借來一個小集群用完再退回。

說真的自認為比hadoop的job調度高明的多。

據我所知，天河二號用的是Intel Phi。而deep learning等人工智慧演算法用的是英偉達的GPU。GPU需要用cuda編程。Intel Phi用的是擴展C。兩種硬體的代碼是不能通用的。