如何評價Google最新的論文NASNet？

01-14

Learning Transferable Architectures for Scalable Image Recognition
論文、模型、代碼一併公布，特徵提取和目標檢測準確率都全方位提升。
[1707.07012] Learning Transferable Architectures for Scalable Image Recognition

說一下自己的理解～

這要從ICLR2017的時候說起，google brain 當時出了一個工作，提出了神經網路的設計可以用神經網路來學習(designing netwotks to learn how to design networks~~)，就是本文中引用的NAS(Neural architecture search with reinforcement learning).其實當時mit也有類似的工作，但是效果沒nas好，我覺得主要是gpu沒他們多(有錢真的可以為所欲為(??ˇ_ˇ??:))。 nas 基於強化學習，方法也很暴力，搜索空間也很大，在cnn和rnn上都做了探索，使用了800塊gpu，當然只在cifair10上做的啦，而且沒有超過densenet的性能。由於網路結構的搜索空間大，所以設計的網路連接也有些反人類，特別是rnn，手機上碼字，不好貼圖，有興趣可以看看 nas 的paper 感受下。

直接使用nas的框架來跑imagenet顯然是不行的！於是就有了這篇工作了。個人覺得這篇工作可以看做是在nas的基礎上加上幾個改進，使得可以在cifar10上設計的網路能夠在imagenet上有效。

第一個改進其實是一個經驗：cnn 可以由同構模塊進行堆疊而構成。這樣設計一個大型cnn網路就直接簡化為設計一個block就行了，也就可以用nas解決了。

第二個改進：合理選擇搜索空間中的操作，使得block運行時對輸入尺寸沒有要求(例如卷積，pooling等操作)。這樣圖像由cifar的32 到imagenet的大尺寸圖片就不會有問題了。

第三個改進還是經驗：block的連接，block內部的一些拓撲結構根據經驗可以固定，不用去學。

基於以上幾條，nas那一套就可以直接用啦。這篇工作裡面的網路也看起來人性化一些，一個原因就是經驗性的東西加入了很多。

有了上面的想法，剩下的事情就簡單了。。。。。。。。。個屁啊，好的想法和最終的paper之間還差500塊gpu呢(?｀⊿′)?。

唉，大牛的工作。。。((???|||))

1.計算量確實大。

"In our experiments, the pool of workers in the workqueue consisted of 500 GPUs."

貧窮限制了我的想像力。

有錢真的是可以為所欲為的。

這意味著能接著往下做的組不多。

2.我覺得這種思路是正路。

之前的網路結構雖然成功，也確實總結出了不少有用的結構規律，但始終是拍腦袋的因素在裡面。怎麼讓程序自己去找結構，在比較大的搜索空間中找到更好的結構，才是做分類接下來的方向。

當然，對計算能力要求很高，能接著往下走的人不多。

慚愧的講，當初老師也有過這個想法，但是我淺嘗輒止，因為覺得實在對計算量要求比較大，我搞不定。

3.完美的結構，不一定特別規整。

resnet,googlenet等人設計的結構，總歸還是規整的。但我們看看學出來的三個結構，其實沒那麼規整。其實人腦里的網路結構也未必多規整，搜索空間比這個文章里的還要大。

4.我們需要《深度非線性網路的數學原理》

這麼大的搜索空間，怎麼搞？

對於一個任務，怎麼的網路結構最好？

最好是多好？

需要多少數據？

Google也要做遷移學習了，是好事。文章還沒來得及看，稍後補充

論文裡面和其他模型的對比數據確實很誘人。比如比Inception v3同樣甚至更低的參數和計算代價，imagenet的top1 acc高2.8%。不過實際工作起來可能沒那麼美好，論文裡面給出的數據都是理論數據，可能由於nasnet的結構比較複雜，在工程實現中（至少在google自己的slim實現中），實測299x299 NASNet-A (7 @ 1920) inference速度比inception v3慢一倍還不止。

不錯，不過事先假設Normalization和Reduction兩個模塊，先驗的痕迹太明顯

七月份就放出來了，之前是NIPS的模板，看樣子這回是轉投CVPR了吧……

想問一下，樓主有NASNet的mxnet平台的代碼嗎

隔三差五齣一堆論文的，我感覺我已經對深度學習無感了。整天堆結構，有意思？不喜勿擾，拒絕批評。