Resnet對於深度學習的意義是否可比牛頓力學對於物理學的意義？

01-21

以前的深度學習最多也就20層。而Resnet 一出現，就是150多層。現在已經可以達到1000層了，而且效果遠好於其他所有network
這才是真的深度學習，可以說，以前所有的假深度學習基本都毫無意義了。
那麼。resnet的提出是否預示著，深度學習新篇章就要打開，而resnet由中國人發現，是否象徵著中國的牛頓已經到來？ML領域即將發生重大變革。

我就說哪個sb提的問題，一看果然是博博

我總覺得這兩天中國人要用殘差網路收復南海了

雖然resnet意義深遠，但是遠沒有到牛頓定理的境界，畢竟沒有真正意義上推動deep learning理論的創新。

而且resnet 很深時層效果好，也不一定是深度的導致的，最近有一些論文提出resnet可以看成是很多淺層網路ensemble。

此外，性能大大超出別的方法這個說法也不對，同時期的 inceptionv3和它性能相近

看題目識作者系列

excuse me?

resnet還是有很多問題沒有解釋清楚，比如1）既然想讓每個res moudle 的主路徑學習一個恆同映射，為什麼要用兩層（res-34）甚至更多層的卷積（res-50,101，152,1202）去逼近，而不是一個簡單的卷積 2）內存的消耗也是很大的，做測試的時候的時間也是個問題。遠不如淺層網路來的快。現實中應該不會選擇為了提高3%的top-5 而讓測試的時間變為原來的好幾倍，特別是有實時性要求的任務（當然你非要說我提高硬體的計算能力，那我也呵呵了）。3）由於層數的增多，對每一層的feature maps的特性也就不好說出具體的作用是什麼了，這也是想利用某一層的特徵的難處所在（幾百到1000層裡面選出對自己的任務有貢獻的層也不是件容易的事情）

牛頓不光是物理學。可以說是近代科學的始祖。自牛頓起，科學才能稱之為科學，之前的最多是手藝

一種優化手段而已，不能太神話，工程上表現良好。當然，何凱明能想出來也是本事。

其實我一直好奇的是你們怎麼知道提問者的。。。求告知

kaiming he好像是廣東03年高考狀元，執信中學的，很牛啊。resnet運行效果好，然而跟牛頓的比？！！離子計算機都差得遠，別說dl的一種model。

直觀上這個問題類似於分解一個矩陣的指數函數，即對於一個普通CNN的一層操作U, 我們將其看作U=e^H=I + H + H^2/2!+....，ResNet就是用多個H『折線』來擬合U曲線，而使用兩層或者更多層去逼近，一個是增加擬合U的折線的數目，一個是擬合的時候使用高階項，H^2,.H^3...，定性上就是如此。

Not at all！！！

大哥，就是發明neural network或者deep learning一千次也沒法和牛頓力學相比吧，更別提resnet了

服了～