谷歌大腦發布神經架構搜索新方法：提速1000倍

岳排槐 發自 LZYY

量子位 出品 | 公眾號 QbitAI

去年，谷歌大腦團隊發布神經網路自動架構搜索（NAS）。這個方法理論上能夠更好地、自動化地設計神經網路的架構。

儘管NAS表現出色，但卻要耗費大量的計算資源。運行一次，可能需要450塊GPU跑上3-4天，大約耗用32400-43200個GPU小時。

一旦投入不夠，就得不到理想的結果。

顯然大牛們不會坐視不理。一年後，谷歌大腦團隊發布了他們最新的研究成果：ENAS，全稱是：Efficient Neural Architecture Search。

谷歌大腦的團隊成員發現，NAS的計算瓶頸在於訓練子模型收斂時，只衡量準確率而丟掉了所有訓練成的權重。

最新的研究，就是強制所有子模型共享權重，來提高NAS的效率。這個方法的複雜性在於，每個子模型的權重使用並不相同。

最終，谷歌大腦團隊還是成功了。使用新方法後，僅用一塊英偉達GTX 1080Ti顯卡，就能在16個小時之內完成架構搜索。

與NAS相比，GPU時間耗用減少了1000倍以上。

這篇論文剛剛提交到arXiv上發表。作者包括：Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。

如果你對論文細節感興趣，傳送門在此：

https://arxiv.org/abs/1802.03268

另外，在ICLR 2018大會接收的論文中，也有一些算是類似方向的研究。如果你同樣感興趣，請收下這個來自谷歌大腦團隊成員@hardmaru分享的傳送門：

SMASH: One-Shot Model Architecture Search through HyperNetworksopenreview.net

Hierarchical Representations for Efficient Architecture Searchopenreview.net

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態

推薦閱讀：