為什麼神經網路會被批評缺乏理論支持?
沒錯,現在的神經網路就是缺乏理論支持,大部分神經網路的進展很大程度上依賴試錯法。
Ali Rahimi在NIPS 2017的Test of Time獲獎演說中就直斥現在的AI是鍊金術,這裡的AI其實就是指神經網路。
Ali Rahimi自己承認,每3個月都要經歷從頭開始構建、訓練一個神經網路,結果發現它不work,於是懷疑是不是自己哪裡搞錯了。
Rahimi還說收到不少郵件,也在網上看到過很多bug報告,因為框架的一個瑣屑的調整,導致整個模型崩掉了。比如TensorFlow內部的取整方式調整了一下,然後某個模型的錯誤率就從小於25%一下子飆到99.97%
(圖片來源:Rahimi演講的視頻截圖,在論智(jqr_AI)微信公眾號留言alchemy可下載Ali Rahimi在NIPS 2017的演講視頻)
Rahimi提出的問題很值得重視。回顧神經網路在這十多年的發展,我們會發現大部分進展其實是由試錯法驅動的。Geoffrey Hinton在2006年提出了訓練深度神經網路的技巧——無監督預訓練,2010年Martens提出Hessian-free優化(也正是在這一年,ReLU取代Sigmoid成為佔據主導地位的激活函數),2013年Sutskever等人提出隨機梯度下降,2014年我們有了dropout,2015年提出了殘差網路,緊接著2016年又提出廣殘差網路。優化神經網路訓練過程的技巧飛快地變來變去,而我們對為何一種技巧比另一種技巧更有效卻知之甚少。
神經網路只是形似而非神似,模仿神經元細胞相互連接組網而來,深度學習也只是自動優化調參。神經元細胞互聯組網就是人工智慧嗎?動物身上也有啊。人工智慧的鑰匙在自然語言理解上。不解決這個,別想敲開人工智慧的大門。有成果,那也是偽智能,走火入魔。方向錯了,再怎麼努力也是白搭。
要分開看。對具體的網路結構,那針對此網路特性的一些理論還是有的。但究竟網路結構和功能之間有何關聯,為解決某類問題需要何種結構,特別是最佳結構應如何獲得,都是沒理論支持的,AutoML只是在結構空間進行了統計優化,並未能找到最優結構。 悲觀一點,這種最優結構問題可能演算法上是不可有效計算的。
推薦閱讀:
※牛為什麼對紅色敏感?
※為什麼有那麼多的人反對相對論?
※為什麼殺死大蜘蛛會出來小蜘蛛?
※「火星-15」型洲際彈道導彈,最遠可以飛行多少公里?