Ian Goodfellow暢談，離散的失敗與連續的失敗

來自專欄 量子位

花栗子 編譯自 Veronikach

量子位 出品 | 公眾號 QbitAI

五月了，美國研究生申請季也差不多過去了。不知道大家有沒有成功脫離失學兒童團。

Ian Goodfellow是來自谷歌大腦的科學家。作為GAN的爸爸，他也是MIT科技評論選中的「35 under 35」中的一員。

不過，背著金光閃閃履歷的他，就是愛講自己的被拒史。大概，也是想給失落的人類一些虛無的希望吧。

這一次，他光顧了最適合秀失敗的場所之一，訪談節目How I Fail，接受了金髮碧眼的助理教授維羅妮卡 (Veronika Cheplygina) 的黃金12問。

看看，除了被MIT放涼之外，Goodfellow還享受了怎樣的失敗——

實踐篇

怎樣描述自己的工作？

G：我是谷歌的AI研究人員，手底下還有一群小夥伴。我們就是要努力理解，AI是怎樣失敗的，這樣才能建立一套清晰的工程原則，對AI開發負責。

我把大量的精力花在研究怎樣讓AI更加安全上——比如怎樣防止黑客欺騙AI系統，去做他們想做的事情。

怎樣描述這份非官方履歷？

G：我的小夥伴Moritz Hardt發推告訴大家，一段成功的科研事業，往往是從收到一大摞厲害的研究生院的拒信開始。

然後，我就列出了自己被拒的經歷，回應了他。但那些 (上拉至推特截圖) 經歷並不是我完整的被拒旅程，以下這一份可能比較全——

· 那時候，還在斯坦福讀本科的我，生物和化學都略顯捉急，但還是打算從事神經學方面的工作。成績是過得去，但感覺要當教授的話這分數還是不夠好。

· 把重心移到計算機上之後，我就申請了幾份本科生的實習，谷歌當時沒要我。

· 我還申請過一份跟著斯坦福教授工作的實習，申請的時候提交了成績單。教授回復說，我的課你怎麼得的A？

以我的成績確實拿不到A，我還以為是curve太善良了，然而事實是系統出現了問題。結果學校就把我的成績改下去了。

· 有幾家大型科技公司給了我實習，但不是做機器學習，也不是計算機視覺。簡歷裡面，大家是看不到這些的，只能看到最後的成功。

不過，我也很感謝Willow Garage和斯坦福的CURIS項目，給了我關於機器人視覺的暑期實習機會。

· 讀研和讀博的時候，我基本上沒有過校外的fellowship。這就是說，我得當助教，或者選擇專業相關的其他校內工作，很難把精力集中在自己的研究興趣上。

那時，我一直在申像魁北克的PBEEE這樣的fellowship。從09年開始的四年時間裡，不停地嘗試，從來沒成功過。

直到13年，才從谷歌那裡拿到了第一個深度學習的Fellowship。

· 讀博期間，我的論文投到像ECCV這樣的各種視覺會議，基本上都是被拒。我在機器人感知上做了很多，但都是不見天日。

怎樣碾壓挫折？

G：高中時期，我有三年都在學校的辯論隊。兩個教練很厲害，一個是Kerry Koda，一個是Thomas King。

我也很驚訝，這段經歷居然可以在好幾個不同的方面，給我的科研帶來幫助。

光是對抗挫折，所有辯手都要訓練，怎樣從情感上對待失敗。每一輪辯論都有輸贏，沒有誰可以一直贏。

如果長期受到辯論環境的浸染，就會習慣這種節奏，輸掉一輪之後很快進入下一輪。輸贏都屬於動態平衡。

羅列失敗=秀優越？

G：我發關於失敗的推文，觀眾似乎都沒有這樣的感覺。也有一些人，還會謝謝我分享這些經歷。

人們有這樣的想法我完全可以理解，但我覺得大多數觀眾還是可以理解，我是希望幫助大家逃脫冒名頂替綜合征 (Impostor Syndrome)。

不願分享成功？

V：另一方面，你覺得人們會不會因為對失敗習以為常，而不去分享自己的成功？

G：不會，我們基本上都是被動分享，不管是工作總結，還是申請資金的時候。

往會議和期刊投論文的時候，每個人都會用上自己的全部能量，盡情把成功的地方表現出來，把不太成功的部分都掃到地毯下面去。

我個人還是會儘力削弱這樣的動力，但它還是不會很快就消失的。

哲學篇

離散的還是連續的？

V：之前，我們都是用一些離散的點，比如獲得職位或者發表論文，來描述成功和失敗。有沒有其他類型的失敗呢？

G：其實，我覺得那些離散的點，大多不是很重要。

我在推特上發過，申研究生的時候拒過我的學校列表，但那都還好，因為還是有很多學校錄了我。

比如，2009年我遇到最大的困境，不是收到MIT和CMU的拒信；而是不知道自己能不能在拿到錄信的學校，比如斯坦福和伯克利，做起自己想做的研究。

那時候很方，不知道我會跟著哪位教授，因為博士生有輪換制度，錄信裡面都沒有明確的導師。於是，我跑去了蒙特利爾大學，提前把Yoshua Bengio鎖定為我的導師。

讀博時期，最大的困境是，我的大部分時間都花在，用無監督特徵學習方法，來解決計算機視覺的監督學習問題。Alex, Ilya和Geoff贏了ImageNet比賽，我就懵B了。

耗費時間寫那種鑽進死胡同的論文，可能就是主要的失敗了。

我的研究如果能影響其他人，那就是成功，即便被大會拒了也沒關係。如果一項研究產生不了什麼影響，就算在大會上發表了也可以算失敗。

今天你失敗了么？

V：有什麼正在經歷的失敗么？或者對未來有什麼猶疑？

G：4年了，我一直想了解，為什麼神經網路那麼容易被input里一點小小的干擾「迷亂心智」。怎麼才能在這種情況下，建立一個高準確度的模型，沒有誰知道。

從傳統觀點來看成敗，今年ICML審稿很嚴，感覺我投的論文基本都沒戲了。

但在一個美好的日子，我可能會寫出三五個想法，然後感覺它們都實現不了。每個想法的時間成本不高，我可以嘗試很多完全不同的想法。某些想法上的失敗，也就是我工作流程里最普通的一部分。

怎樣才算成功？

V：要評判一個研究人員是否成功，你覺得成果的發表應該在評判標準里佔到多大比重？有沒有其他因素容易被忽略？

G：我們對成功的評判，可能會讓這個領域錯過許多成功人士。

舉個栗子，我們要花很長時間來評估研究成果和研究人員，但我們沒有花多少時間去考察這個評估過程本身。

沒有誰有義務去保證，大會的審稿是公平的是準確的。

從2014年NIPS的一致性實驗裡面，可以看出審稿流程還是有不少噪音的。可是從結果來看，並沒有人要致力於制定出更好的審查流程。

升華篇

ML的失敗，不是普通的失敗？

V：你覺得機器學習領域跟失敗之間的關係，和其他領域有什麼不同？這會不會對不同人群產生不同的影響？

G：機器學習領域的期待值很高，因為這裡總是可以快速產生很厲害的研究成果，並且能夠幫助其他人快速產生研究成果。

比如，Ilya Sutskever在谷歌學術里，已經被引用過5萬多次了；再看數學領域，最近的四位菲爾茨獎得主，沒有一個引用數超過5千。

我們這個領域，成功是爆髮式的，這一點有些奇怪。一部分原因可能是，我們太愛用http://Arxiv.org了，而其他領域的研究人員可能更偏愛同行評審過的論文。

不過說實話，我也不知道這個現象會對不同人群產生什麼樣的影響。

怎麼看待ML的負面/陰性結果？

G：機器學習很難從負面結果里獲得價值，因為我們一般都不知道負面結果是怎樣造成的。

得到負面結果，可能是想法從根本上就錯了，也可能是因為一個很小的bug。不幸的演算法，各有各的不幸。

想和ML老炮說什麼？

G：我想跟他們說，關於某個想法的貢獻應該怎樣分配，學界需要一個更好的方式來處理爭議。

現狀是，那些自認沒有獲得應有的引用或者點名的人，得為自己維權。

如果只是論文作者失誤漏掉了，那還好說。但如果雙方爭執不下，場面就十分尷尬。

沒有權威機構來裁決，協商又無果的情況下，大家只能回歸「是胡蘿蔔還是大棒」的選擇，可是大多數人也給不起胡蘿蔔。

一個資深教授，如果要向一個博士生要出處，壓力就很大了。我受到的關注越多，也就要花越多的時間處理這種事。

如果某個會議或者期刊能生出一個部門，以第三方視角專門解決這樣的爭議，情況可能就會樂觀很多。

想跟過去的自己說什麼？

G：快去用GPU挖礦啊。

採訪結束了，重要的信息可能有很多，但我在意的是，為什麼我碰不上系統bug給我個A的好事？

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態