為什麼Yann LeChun說研究機器學習要多學物理？

07-23

5 人贊了文章

本文首發於@矽谷密探

Yann LeCun 說的「要研究機器學習，本科應盡量多學物理和數學課」對嗎？

這確實是一個好問題，值得我們注意的不只是Yann LeChun提到的物理的重要性，還有一個正在被關注的趨勢：物理學家越來越多進入數據分析／機器學習領域了。

前段時間，著名科技媒體wired發表了文章To Solve Its Hardest Problems, Silicon Valley Turns to Physicists，講到了矽谷中，無論是巨頭還是初創公司的數據處理／機器學習崗位上，都出現了大量物理學家或物理學背景的工程師。從GE收購機器學習初創公司Wise.io時，CEO吹噓：「我們打劫到了一打物理學家！」到領英CTO Kevin Scott（現在是微軟CTO了）在谷歌時狂招物理PhD，再到微軟的數據中心主任Vijay Narayanan本身還是一個天體物理學家，同樣是天體物理學PhD的Berian James畢業後進了Square當Data Scientist，普林斯頓的物理學PhD Claire Lackner在東京大學做了幾年博後之後，也進入了矽谷的數據挖掘公司，就像十年前物理學家大批進入金融領域一樣，現在他們正在矽谷大殺特殺。而且這一切發生得非常自然，接受Wired採訪的初創公司Stripe的聯合創始人John Collison十分義正嚴辭：「說的好像我們去物理學的幼兒園然後把那兒的孩子裝進籃子偷出來了一樣」，他說，「這事就這麼發生了」。他的公司的機器學習業務部門，有來自哥大和UCLA的物理學博士，來自哈佛的物理碩士，和MIT的物理本科。

是什麼讓物理學家在似乎是數學和CS統治多年的機器學習領域展露頭角呢？這一現象在深度學習社區也引起了很多討論。

首先物理學家更熟悉概率論和數理方法，他們在這方面受過嚴格的訓練，有人認為機器學習中的數學問題充其量也就是物理本科課程的難度，這話雖然有些誇大其辭，但比起計算機科學家，物理學家對待數學要嚴肅多了。如果你去看吳恩達的機器學習公開課，Andrew經常說的幾句話就是「如果你熟悉線性代數那當然好，不熟也沒關係」「這裡的最優化方法非常複雜，原理到現在我也沒弄得非常清楚，但是我們就這麼用」，甚至高斯分布都是十分鐘現講現用，各種不講究。只是為了應用現有的模型這樣自然也足夠了，但是手握數學工具的物理學家，只要掌握了各種框架的API，搭起模型似乎更加得心應手。

另外就是物理學家對數據的洞察更加深刻，對於長年累月處理加速對撞機、NASA的天文項目等等海量數據的物理學家，大多數的機器學習問題中的數據量完全不足以嚇到他們，這似乎也能解釋為什麼在前兩年的大數據浪潮中，很多物理學家協助開發的軟體大受歡迎，谷歌的分散式系統的主要工程師之一Yonatan Zunger，在進谷歌之前在斯坦福研究弦論，之前提到的GE收購案中的CEO Jeff Immelt，說起那30幾個伯克利出身的天體物理學家的時候這麼形容他們：「只要給他們數據，他們就是幹掉一切（You match them with aviation data, and they』re killer）」

去年九月，MIT Tech Review 的一篇文章談到了Physicists have discovered what makes neural networks so extraordinarily powerful，給出了和以往生物學基礎都不同的，物理學家角度的神經網路的解釋。在計算機學家和統計學家看來成百萬的參數，實際上神經網路只是在優化其中很小的一個子集，起決定性的只有少數參數。事實上物理的優美所在，就是用簡單而優美的幾個參數，描述出整個宇宙中所有事物的運行規律，在這一點上，物理學的研究方法，無比適合深度學習。

無論物理學家最終能否真的解釋清楚神秘的深度學習，我們都需要認識到，物理學家正在從自己的角度，幫助重塑機器學習社區。在機器視覺，語音識別，機器翻譯等領域被深度學習的浪潮徹底吞噬後，神經科學也在喊著和深度學習的合併。深度學習正在影響著越來越多的學科，而它本身，也是生物，數學，計算機等等學科的雜交產物，作為一個誰都能拿來試試的工具，機器學習正在給所有的學科和領域，帶來新的碰撞和衝擊。