深度學習方向的phd選擇,四大還是MILA?

國內碩士,準備去美國cs四大(具體哪所就不說了)或者MILA (Montreal Institute for Learning Algorithms) 讀deep learning相關的phd。很糾結的決定去哪邊讀,希望知乎的大神們能給一點建議。

四大:cs屆名氣確實比較大,學生的質量也很高,又地處美國畢業後工作抽籤排期感覺按部就班(之前對美國比較了解,加拿大不太清楚)。然而感覺research方面特別是deep learning並不如mila,當然了,如果是stanford的Chris Manning和dan,或者cmu的Russlan這種的offer那就沒什麼好考慮的了,其他的話感覺四大很多老師有時候並不能提供很好的指導(畢竟deep learning比較新,一些年紀大的老師都只是充當老闆的角色),在這種情況下學生更多的需要靠自己悶頭搞或者和同學一起搞。

MILA:Bengio牽頭新搞起來的institute,這兩年風頭正勁,裡面的faculty大都處在壯年甚至還在research一線,包括Bengio聽說對research還是很上心,學生也都很不錯(有一說mila學生太多了。。),資源funding什麼的也都很充裕。從research角度來說mila比四大要好一些吧,faculty能給指導,funding充裕了學生的壓力就小一些,research可以做的自由一些,畢竟美國學校的phd大都需要做項目賺funding。從現實角度來說,五年後deep learning的泡沫只要沒破,mila畢業的學生出路應該還是很不錯的(唉人嘛,現實的問題總要考慮的)。

以上是我目前的理解,確實有點捨不得四大的phd,父母那裡也好交代一些(處理不好也會影響自己心情),而且加拿大身份以及如果從加拿大畢業再想在去美國工作的情況也不清楚。希望有了解的大神分析一下提供一點寶貴建議,research或是兩邊工作和簽證的方面,也可以補充一些沒想到的其他方面。謝謝!(不是在問假設性的問題,真的是在決定去哪裡,希望有熟悉情況的大神幫忙分析一下,不要一上來就問有幾篇paper什麼的。。)


利益相關:四大之一的CS phd, admission committee member.

我們第一輪還沒審完呢...

以及今年AI方向異常慘烈,清北本科生一作top tier conference 的都拒了,感覺題主要上天


有空在這裡對還沒入坑的小朋友拽

還是老老實實多寫幾行代碼幾頁紙

下課準時去拿外賣吧

題主小朋友 其實吧 無論在哪 做出好的work才是王道

利益相關 在同一個外賣群里的四大cs phd


感覺如果認真推導一下的話還是能夠大概知道題主是什麼個背景的。大家可以當做休閑來鍛煉一下。

首先我懷疑這是一個已經有四大official offer的人說的話。因為現在四個學校應該都還沒有開admission meeting。這個問題是剛才提出來的,不知道怎麼來的offer。

然後他舉得這兩個學校的例子都是跟著導師的Offer。殊不知CMU和大S都是錄取之後才定老闆。我們CMU是入學之後才定。Offer都是general offer,哪裡知道是跟著誰。

所以我懷疑,1)這是引戰貼;2)可能是某個在四大交換過跟導師聯繫好的人有提前口頭offer。但我覺得概率不大。如果是的話那很快就能查到是誰。

實際上我覺得這可能是勃學家的引戰貼。因為題目裡面那種很多信息都皇帝的金扁擔:

「又地處美國畢業後工作抽籤排期感覺按部就班」 -&> 四大的PhD基本都不排期;

「funding充裕了學生的壓力就小一些」 -&> 四大的PhD沒聽過誰要操心funding的;

「畢竟美國學校的phd大都需要做項目賺funding」 -&> 不懂這個是什麼意思;

「從現實角度來說,五年後deep learning的泡沫只要沒破」 -&>能直接申到四大和MILA的PhD的人會覺得自己做的東西是泡沫?聽起來是只會調keras的人說的話。

最後,這種人生建議的問題還匿名提問,建議同學們不要在題主發自己paper list之前相信他。


不管是不是釣魚,我對這個問題有以下的觀點。

  1. PhD 的導師比學校重要。看上去,去四大選導師的 variance 會比去 MILA 選導師的大一些。
  2. 拋開上課和外面學者的講座(我覺得這方面 MILA 應該不比四大差?),學校紙面上有多少資源和你能 access 到多少資源不是正相關的。

最後,引用一下朱松純老師的一段話(來自 Biography of Song-Chun Zhu)。

結束語: 選擇專業方向和博士導師是改變你人生軌跡的抉擇, 絕非遊戲,望你慎重考慮, 謀定而動, 鍥而不捨。 你最好認真瀏覽本實驗室的活動、demo、科研項目,多讀幾篇論文, 問你自己是否願意長期投身這個方向。「道不同,不相為謀」,如果你不確定、還沒想好, 最好不要報, 更不要謊報。


聽著像CMU的offer,因為CMU這種現象普遍。我先假定是CMU的offer,然後給你個建議。

如果目標是去工業界,無腦CMU。頂著CMU PhD的頭銜很多事情都好辦。找實習,找工作時都有巨大的優勢。

如果目標是去學術圈或者MSR,FAIR之類的,那如何選擇導師就很重要了。導師很多時候是給你一個平台,這個平台里包含了很多資源。當然了,導師的指導是重要的資源之一,但你似乎沒有明白,組裡的或者系裡的同學也會是這個平台的資源。和天資卓越的其他年輕人一塊學習討論工作,這種機會是時刻可能迸發出火花的。所以不要小瞧「只能和同學一塊搞」!但不得不多說一下,這種天才扎堆的現象多出自功成名就的大佬組裡。CMU也不是哪個組都是人才濟濟。

說了這麼多,但我其實最想說的是,能不能做學術真的看緣分和造化。CMU SCS是很多CS人學術夢想的起點,但五年過後,CMU便成了他們的終點。如果你真的留意每年CS Job Market上的人,以CMU SCS 那麼大的基數來說,找教職的真的算不上多。

順便說一句,我不是四大畢業,導師是個助理教授,但是我趕上了導師的上升期,所以找教職的結果應該是好過大部分四大的學生(我當年沒有做具體統計,也不太容易統計到)。但你問我為啥選了這個導師,我只能說「我當初感覺准,運氣好!」

所以憑著感覺走吧,也可能你其實已經做了選擇,只不過需要自己push自己一下來承認罷了!


深度學習領域你還說四大?

這麼不把我大nyu當回事嗎?


部分贊同 @熊辰炎 的部分觀點。我是今年申請的 undergrad,最近一直在關注 grad caffe 和 地里。現在這個時間點能拿到也只有口頭 offer,而能拿到口頭 offer 大多是提前在該組 visiting 了一段時間。如果要問這個問題,問老闆和實驗室里的 PhD 明顯是更好的選擇。在知乎上放一個模糊的描述,呃,幫助的確有限。

但話說回來,這樣的 profile 其實並不少見。這幾年 CS 方向申請的門檻水漲船高,能申請四大的人誰不是手握一兩篇頂會 + 海外 RA 經歷,隨便列舉幾個

清華的 Ji Lin : CVPR 一作 + ICCV 二作 + NIPS 共同一作者,ICLR 和 CVPR 都有一篇在投,同時在 UCB Darrell 組呆過,現在在 Google Brian 實習。

復旦的 Danlu Chen :ACL 1(2?)篇 + ICLR 在投(評分 10 9 8),Nvidia 實習 + Cornell Killian 組 RA。

南大的 Hao Liu :兩篇 NIPS + Duke RA

浙大的 Yuwen Xiong :ICCV Oral (Deformable Conv) + CVPR + 兩篇其他的,UoT Urtsun 組實習

上交的 Lantao Yu:SIGIR Best Paper Honorable Mention (IRGAN) + AAAI SeqGAN 作者(本科沒畢業就 citation 過百了)

回到問題本身,我今年也申請了 MILA 和 四大。如果 (a VERY BIG if),我能像題主一樣同時拿到四大和 MILA 的 offer,那容許我先大聲笑一會兒,然後無腦選四大。理由如下:

  1. Montreal 是法語區,政府規定所有文件必須用法語。你申請時應該也感受到了,不用 google translate 根本沒法填申請表 ... 學英日德三門語言已經很累了,我不想再為 grad school 額外學一門語言。
  2. 我的 qualification 申請 MILA 應該是沒有問題的,但申四大非常的懸。換句話說,你去 MILA 只能跟我這種水平的人合作,而在四大里你的合作者水準將明顯高上一截。個人研究經歷來看,科研除了導師最重要的就是 co-authors。你永遠無法想像跟 Smart Person 一起工作會有多開心。MILA 和 Vector Institute 也許會在二三十年後成為新的四大,但現在,生源質量差四大一截是不爭的事實。
  3. 不知題主以後是想留學界還是去工業界,那我兩面都討論下。今年看到了學校 CS Department 的 AP 候選人名單,表上不乏 Malik 弟子 / Feifei 高徒 / 圖靈獎得主的學生。我校只是一個準二線,由此可見學術界 AP 競爭壓力之大。如果去了 MILA,除非 PhD 做出曠世之作,否則申北美名校的 AP 基本無望。去四大的話,只要保證穩定產出就可以有不錯的選擇。
  4. 去工業界的話,加拿大最大的優勢也就是身份好弄了。加拿大政府不可能以舉國之力來發展 AI 的,至少在 AI 的前景還不明確之前[1]。在這一波的 deep learning 浪潮之前,Hinton 等人在加拿大度過了接近三十年的寒冬,而誰又能知道下一次寒冬會什麼時候來,又持續多久呢?加拿大這邊 Nvidia 之類給的實習 offer 大多是 6k ~ 8k CAD,美國則能給 7k ~ 9k USD。而且我覺得四大在美國對於薪水的加成作用 肯定比 Montreal 在加拿大要明顯。

anyway,祝賀下題主斬獲心儀 offer,無論哪邊都是很好的選擇,之後能到哪個境界就看個人拼搏了。

最後,為自己打一發小廣告:介於今年申請行情實在太嚴峻,想找一個暑期的 RA 機會,提前為失學做好準備。硬體方面,兩篇小會 + 兩篇 CVPR + 某開源框架貢獻者。


你好, 我去年申請MILA的學生. 因爲當時本科畢業, 所以就申請的是Master, 然後說可以第一年後再轉. 現在我的導師是Aaron. 時日尚短, 希望有所幫助

回答一下題主的問題.

首先在選擇PHD時, 我個人認爲最重要的還是自己和導師的契合程度, 這其中包括了研究課題, 研究品味, 性格, 談吐, advising風格等一系列方面. 如何選擇到能夠match到自己的導師不僅取決於對導師的理解, 也取決於對自己的理解, 和談戀愛基本是一個原理. 因此題主描述的很多因素諸如: 地理位置, peer水平, 深度學習是否泡沫, 雖然也都是很現實很重要的問題, 但是考慮到畢竟讀了phd你的主要命運是被你老闆在之後的5年掌握, 因此我認爲希望題主選擇學校的時候還是能夠把導師放在第一位. 當然, 我也知道身邊同學可能不希望讀研後成爲異地戀因此講地理位置也作爲一種priority, 這種特例, 我們也就個別分析就行.

如果題主贊同我的上面觀點, 那麼在明確了priority之後來看看題主關注的其他條件. @熊辰炎 的回答中已經說出了一些題主對於四大的誤解, 這裡不在闡述. 那我來說下MILA這邊.

  1. "這兩年風頭正勁". 的確. 最近各種拉funding以及擴張可見一般.
  2. "裡面的faculty大都處在壯年甚至還在research一線,包括Bengio聽說對research還是很上心". 基本正確. 老師差不多都挺年輕, 而且yoshua的確對自己的學生還是很上心. 最近一個例子: Yoshua有一位叫Dima的學生上學期去deepmind實習瞭然後這學期剛回來, 然後yoshua主動邀請他加入目前正在進行的某項目並坦言上學期自己太過繁忙沒有很好的advise他, 希望這學期能過多meet幾次彌補一下. 我因爲剛好也在那個項目組, 所以看到了yoshua給全組的email介紹Dima的入夥. 從這個事件我看了覺得雖然實驗室學生的確很多, 但是教授們(不止yoshua)對自己學生還是很關心會主動發郵件詢問.
  3. "學生也都很不錯". 這點可以算是其他回答中比較有爭議的一點. 首先是中國學生. 我們實驗室是有很出色的中國學生, 有很漂亮的簡歷, 但不可否認大部分中國學生的軟硬實力並比不上四大的同行們, 包括我自己去年申請的時候, 基本也是被四大全部拒絕了. 對於現在各位只比我小一年缺都已經可以一作發表頂級刊物, 我也只能汗顏, 激勵自己繼續努力. 但是就像 @Gerry Che 所提及, MILA是我見過最diverse的實驗室之一, 真的是匯集世界各地既有天賦也願意爲自己信仰充值的同學, 並且能夠和很senior的學生一起工作. 比如上文的Dima, attention paper的一作. MILA的外國學生不止有些水平很高, 而且有些人生經驗奇特, 因爲MILA很多學生都是在Yoshua沒這麼火的時候選擇Deep Learning. 比如有一位同學的PHD proposal, 最後他總結他選擇AI的最大motivation是爲了防止人類的滅絕. 一位來自印度尼西亞的同學和我說他之前在對衝基金工作了兩年, 然後覺得自己良心過不去, 決定選擇用AI來創造一個烏託邦社會來實現共產主義...我個人覺得這些同學一起工作, 生活還是比較有趣. 畢竟從小到大的同行們包括我自己, 都是被應試教育生產出來的, 換個口味也挺好.
  4. "資源funding什麼的也都很充裕". 正解. 我作爲一個碩士生, 不用做TA還能免除部分學費以及每月拿生活費, 這種deal我覺得在四大, 或者在美國我也找不到.
  5. "從research角度來說mila比四大要好一些吧,faculty能給指導,funding充裕了學生的壓力就小一些,research可以做的自由一些,畢竟美國學校的PHD大都需要做項目賺funding." 這個還真的見仁見智. 畢竟research這種東西完全是個人的, 很難學校A research大於學校B. 但起碼在MILA, 我們會看四大出的文章, 我相信四大的同行也會讀我們的文章. 平時我們和四大同行們也會有合作, 比如 @Gerry Che 就是剛剛從Berkeley回來, @saizheng 我記得也和CMU同學合作過. 實驗室外國學生這種collaboration更多. 因此如果非要比較, 只能在細分領域中較之高下, 比如Berkeley在drl robotics目前肯定比MILA要好. 至於research的自由度, 又回到回答說的第一準則, 導師很重要.
  6. "從現實角度來說,五年後deep learning的泡沫只要沒破,MILA畢業的學生出路應該還是很不錯的(唉人嘛,現實的問題總要考慮的)". 正經的說, deep learning目前存在泡沫, 但是我並不認爲這個泡沫爆發後會進入下一個AI冬天. 首先在於AI community經過前兩次冬天已經對於媒體的"捧殺"產生了警覺機制, 這年頭已經不少見公然批判DL的學者和爭論了, 請自行谷歌. 其次在於相比起前兩次冬天, 這一次我們泡沫再怎麼破滅起碼在DL對CV的革命性突破已經坐實了, 接下來起碼我覺得在醫療圖像DL還是很穩的. 不正經的說, 我相信就算五年後deep learning的泡沫破滅了, 經過deep learning PHD期間的學習以及實習, 你也一定會成爲一個合格的運維 :) 不過最後也正經說一句, PHD從來就不是一個正增長的資產, PHD的價值也不在此. 這點我覺得前輩已經說的很好了A Survival Guide to a PhD

我希望這個答案能幫到你. 最後說一句不管選擇哪一個, 從我的角度來說都不是壞選擇, 而且任何一個選擇都有機會可以和其他另一邊的同行們合作. 至於身份問題, 在這幾個level的PHD program中其實也並不是特別大問題. 因此最後還是一句話, 怎麼選擇, 首要還是看你心怡的老闆在哪. 有問題可以再聯系. 當然如果最後因爲懼怕寒冷而遠離MILA, 我認爲也是一個非常明智的選擇.


NYU 表示很生氣,竟然沒有申NYU。莫非題主已經看出來LeCun已經跑路的事實?


有人讓我講講, 那我就講講吧.

不可否認四大在全世界的高度認可,並且四大入學 的competitiveness. 但MILA也有很好的地方. 我結合上面匿名用戶的回答解釋一下.

一. "Montreal 是法語區,政府規定所有文件必須用法語..." -----是, 魁北克是法語區, 但你不學法語也可以過得很好. 我就只會說Bonjour, Merci之類幾個詞, 但生活上沒什麼障礙. Montreal有很多只會說英語的英語人口,他們的人權還是受保障的,不會被當做低端人口驅離.

二. "我的 qualification 申請 MILA 應該是沒有問題的...." -----確實MILA的平均水平也許比不上四大的中國學生和印度學生, 但MILA的學生高度國際化,加拿大本地學生很少,不像美國有招本地學生的硬性要求. 至於合作者水平, 實驗室有兩個IMO和IOI金牌, 還有MIT本科的前幾名,你不能 拿實驗室中國學生的水平 代表整個實驗室的水平. 因為確實中國學生更看重學校牌子. 我算是很水的.

三. "今年看到了學校 CS Department 的 AP 候選人名單,表上不乏 Malik 弟子 / Feifei 高徒 / 圖靈獎得主的學生"----- 我們實驗室的幾個博後,都拿到了很好學校的AP. Cho 是NYU的, 還有今年畢業的sungjin拿了rutgers. 我不覺得你的教職和你的學校有多大關係. 我自己註冊在劍橋只是希望早點畢業, 但我不覺得 MILA會對你找教職產生任何不利影響. 說實話, 找教職最重要的除了publication就是推薦信, 學校排名那是第三位的.

四. 有關美國和加拿大的移民 ----- 如果你在mila畢業,四年的publication不夠你拿美國的eb1, 那麼你 的教育無疑是失敗了. 不過我想大多數畢業生的citation拿eb1都是足夠的. 加拿大的移民無疑比美國簡單很多,但真想拿美國綠卡, mila不是個disadvantage. 讀phd還要擠h1b的排期,未免也太沒有野心了一點.這種人, 我覺得,按照今年的申請形勢,可能也拿不到mila的offer.


題主好厲害!能拿到四大和MILA的offer!我能拿到一個就謝天謝地了!題主求約求交往!!!

題主不就是想看到這種回復嗎,滿足你。

每次看到這種問題都特別煩,知乎上有幾個四大ML phd? 真要問不能去隔壁一畝三分地? 這種問題題主心裡明明都有答案,來問就是找優越的。

賭1000美金,你最後要是去了MILA我給你1000美金,要是去了四大你給我500美金,統一把錢打給輪子哥保管,來不來?

//------------------分割線------------------

被掛了,小透明瑟瑟發抖。

這位答主義正辭嚴的指責我回答沒用,然而他的答案除了掛我貌似也沒其他乾貨。。。

一個拿到CMU(疑似)phd offer的人,不會在業界沒有一點connection都沒有。這種問題問導師,學長或者未來老闆得到的回答都比在知乎上提問得到的要權威。就算沒有connection,也可以自己做research。要是連這點research能力都沒有,還想survive phd?

不覺得這個問題超出了題主解決問題的範疇,那為什麼還來知乎上問呢?知乎上大多不是圈內的人,提供的回答又能多有說服力?

所以答案呼之欲出:裝逼。

裝逼是人類進步第一推動。為什麼這種問題惹人煩呢,因為身邊太多這種人了,橫掃HYPSMC,FLAG的offer,然後問小弱應該選哪一個。不管小弱說什麼,他們也就隨便聽聽。花費時間精力熱心回答,只是滿足了對方裝逼的需求,換誰誰都不爽。不過拿MILA和四大比真沒多少說服力,要是問集齊了四大的phd offer,應該去哪一個,效果會更好。

要說我這個答案沒有幫助真是冤枉。那些答主最多只是給建議,我可是直接提供funding哦~


能去美國,就不要來加拿大

美國的科研實力和市場都不是加拿大可以比的

四大的名氣人脈也不是bengio一個人能比的

而且也不一定你就會一直做dl了啊,很可能會做點交叉研究,四大的各專業老師都很厲害吧

君不見多少人在加拿大讀master 拿pr 拿國籍只是為了去美國而已

尤其如果是男生,美國機會那麼多留在加拿大幹嘛呢?工作機會少年輕人少....

來自一個喜歡了兩個男生都要去美國的大齡女青年的怨念


就很僵硬。我被不友善了。。。哎,就太實事求是了。

還是舉報我沒有幫助吧。這樣我還心裡服一些。

同一個問題打擾了你們時間線兩次,很對不起,而且這個回答確實沒有什麼建設性的意見,也沒有funding。

----

原回答

現在是不是超友善~~~: )

----

還是想說點無關的:

知乎上做這個方向的人不是挺多的嘛,四大的,mila的這個回答下不都有嗎?不是也有一些有用的回答了嗎?

老師同學問得,知乎就問不得了?問知乎就不是research的方式了?可能是我對知乎的認知不太對,我以為這個就是一個問問題的地方啊。是我單純了,對不起。

----

我也不想在這個回答下面扯這麼遠。應該直接去回復下面撕逼的。主要是沒這麼有空,戰線拉長一點有助於節省撕逼的時間。要不是被刪除了,我都懶得回來看了。

畢竟人生苦短,我還要回去看中國有嘻哈(大霧)。


這題目下面的某些回答酸的厲害。不管題主有沒有offer,這個題目都有討論的意義,幹嘛動不動就要別人亮publication list?回答個諮詢還要裝個逼以體現自己價值也是醉了。

回到題主的問題,其實去mila 還是四大就看題主的信仰了。deep learning死忠,那根本不用考慮直接mlia,絕對是為信仰充值了。除此之外,但凡有一點猶豫,妥妥的四大。cs不僅僅是ml,ml也不僅僅是deep learning。四大能享受到的資源比mila好太多。


如果你想找faculty,去四大沒商量。因為你將來的面試者可能根本沒聽說過MILA。記得如果你要找faculty,面試你的人大部分都不是你這個方向的。

如果你要去工業界,去四大沒商量,校友人脈那不是蓋的,何況你就不想學習其他hardcore CS領域比如OS,PL,Arch么?


Stanford 第一年是沒指定advisor的,所以有可能第二年選不上熱門的倒是。而且,feifei li, andrew ng, percy liang都去業界了。

CMU 也是進去再選advisor,而且裡面教授很多,但是強的熱門的也就那麼幾個,想跟russ也沒那麼簡單。

MIT、Berkeley不了解,但是我個人感覺machine learning方面berkeley排第一。我不太懂天天嚷嚷著泡沫什麼的,即使哪天deep learning的泡沫破了,也不見得是個壞事情。

MILA那邊大牛也不只有Bengio一個,雖然他應該是沒時間hands-on的,Aaron Courville,Pascal Vincent等等都還是很強的。組大是一件好事也是一件壞事,比如你可以有更多的合作機會等等。至少做deep learning、machine learning的應該不會有人孤陋寡聞到連MILA都不知道。

這確實是一個很tough的問題。但是論location,reputation等等,我覺得stanford沒話說。當然,這些不能是成為你選擇學校的一個主要原因。

找faculty,重要的還是publication+recommendation。拿到Bengio的強推,應該找個AP非常容易吧,拿不拿得到tenure,就看造化了。


分頁阅读: 1 2