參加國際機器學習頂級會議ICML 2018有感

來自專欄機器有顆玻璃心382 人贊了文章

ICML，全稱Internation Conference on Machine Learning，是國際機器學習的頂級學術會議。每年，世界各地的學術機構和企業都會相聚在這個會議上，討論分享最新的學術進展。因此，它可被視為推動機器學習發展的重要會議。ICML一般在每年夏季（7~8月）召開。本次ICML於7月10-15日瑞典首都斯德哥爾摩召開。參會人數創造了歷史新高，達到了5000人。NIPS(Neural Information Processing Systems)是與ICML齊名的另一機器學習頂級會議，本次NIPS將於12月在加拿大蒙特利爾召開。

寫在前面：如何去開會？

作為一名博士研究生，如何參加會議？最好的方式便是自己的paper被會議所接收，便可理所當然地拿著實驗室的資助前去會議上展示自己的工作。然而，如此頂級的會議，並不是所有人都能幸運地中稿。今年ICML一共接收了約2500篇投稿，接收了600篇，錄用率約為25%。實際上這個比例還是較高的，但是不要忘了，你的競爭對手都是國際頂級選手。考慮這個因素，ICML確實不好中。如果中了，就說明你的工作具有一定的價值，得到了國際頂級會議的認可。

然而很不幸，我並沒有投稿ICML，當然也談不上錄用。那麼如何才能去參會？最直接的方式是自己掏錢。然而我自然是沒錢的。實際上我從未想過要去參加會議，之前自己的文章被兩個會議接收，我也都沒有去開。部分原因也是因為我之前中的並不是最頂級的會議，所以沒有什麼動力去。

於是我就經常瀏覽ICML的官網，看看有什麼最新的消息。這也是作為研究人員的一貫做法：經常關注國際會議的動向。偶然看到了會議的Student Travel Grant（學生旅行獎）。這種獎一般都是頂級會議為了推動會議發展，給一些優秀的學生一定的資助，鼓勵他們去參加會議。我之前也申請過AAAI的學生旅行獎，給了我500美元。然而500美元對於從北京到新奧爾良來說，還是遠遠不夠。於是並沒有參加AAAI。

抱著零成本試一試的態度，我試著填寫了ICML Student Travel Grant的申請表。其實ICML對於申請信息並無太多的要求，我寫的最多的地方，就寫了三行字，介紹了我是誰，我在哪，我主要做什麼，並附上了我的個人網站。

就這樣，臨近5月底的一天早上，突然收到了郵件，提示我獲得了此獎勵，會議資助2000美元去參會。這可是2000美元啊！去哪裡都夠了！

著實驚訝，感謝會議資助！

參會之前：準備工作

確定要去參會之後，便是一些必要的準備工作了。這其中最重要的有2項：瑞典簽證和機票、酒店預定。

瑞典和大部分歐洲國家一樣，都屬於申根國家（Schengen）。這個名詞的意思就是，你如果持有申根護照，便可以自由地前往申根國家的任何一個。因此，瑞典簽證屬於申根簽證。辦理簽證所需的保險也需要購買覆蓋所有申根國家的保險。

除此之外，並沒有什麼特殊要求。瑞典簽證的材料網上已有很多，我們不再贅述。找一個所在城市的簽證申請中心即可。簽證時間很快，半個月之內便會完成。

在機票預定上，每周會有3個航班從北京飛往斯德哥爾摩，全程8小時。這應該是最快的。然而由於眾所周知的原因我並不在北京，只能選擇從香港出發。香港是國際大都市，有很多架次的航班飛往瑞典。我選擇的是號稱全球最土豪航空的阿聯酋航空(Emirates)。飛機上娛樂設施比較全，電影很多！飛機需要在阿聯酋航空的總部迪拜進行轉機。香港到迪拜大約7小時，在迪拜停留4小時，迪拜到斯德哥爾摩大約6小時。

全程還是比較疲憊的，尤其是夜間飛行，氣流不穩定性高，經常顛簸，對於睡眠構成了較大的威脅。

另一個問題是時差。斯德哥爾摩比北京時間晚6小時。當我們是中午12點時，它則是早上6點。不過我並沒有被此有太大的影響。看來時差還是要到美國才能感受到吧！

這是真正的會議有感

初次參加，倍感激動！真正的頂會，各路大牛雲集的盛會！在學術界，我見到了來自MIT、CMU、UC Berkeley、Stanford這四大計算機牛校的科研人員，也見到了世界其他名校例如ETH、U Tokyo、U Montreal、U Oxford等。百花齊放，百家爭鳴！

學術界的狂歡，少不了工業界的參與。我見到了傳說中的Deepmind、Facebook AI Research、IBM research、NVIDIA，以及國內的騰訊AI Lab、螞蟻金服、百度矽谷研究院等。

本次會議所有的內容都可以在線觀看：Facebook（論科學上網對科研的重要性）

會議內容

會議分不同的session進行。由於接收文章很多（600多），很難串列開始。於是所有的session並行舉行。我們需要事外查閱自己感興趣的session，然後在特定的時間去特定的地點參加。

本次會議比較火的有以下幾個主題：Deep neural network、adversarial、reinforcement learning、deep learning theory等。這些主題因為文章太多，每個主題都分為了好多個session，每天都在舉行。從中我們可以大致了解，這些主題是目前學術界最熱衷的研究方向。

關於我自己的研究方向(遷移學習)，會議專門有2個multi-task and transfer learning的session。另外，在一些deep和adversarial的session上也能看到相關的paper。這足以說明，遷移學習確實是國際上都比較認可、重要的研究方向，國際同行們也都在這個領域進行深入的研究。這是值得高興的事。

值得一提的是，unsupervised learning並沒有受到太多的關注。儘管這被認為是未來最值得期待的研究領域，也是最實用的。本次會議上，unsupervised learning幾乎沒有存在感。

還有一些傳統的statistical learning、kernel method、dimensionality reduction、clustering等，都有相關的session，只是不太火。

Paper之外：特邀講者

除了paper的session之外，會議還邀請了幾個業界的大牛進行專題演講。第一個是來自UC Berkeley的Dawn Song，講AI for security。我個人對此並不是很感興趣，加上她演講也沒什麼亮點，所以並沒什麼感覺。唯一的感覺就是她挺厲害的，這麼年輕，各種獎項都拿過了。不過跟我無關啊。

第二個嘉賓是來自荷蘭阿姆斯特丹大學Max Welling教授。他從energy and entropy的角度，講解機器學習技術的進步。Max Welling是貝葉斯學派的牛人，他的主要工作都是貝葉斯優化推理相關的。演講很精彩。第三個嘉賓是密歇根州立大學的Joyce Chai，講AI and Language。由於我在聽別的paper session，而且對此並無興趣，所以沒有去聽。

最後一個嘉賓是來自MIT的Josh Tenenbaum教授。他從認知的角度講AI的發展，以及他們做的事。Josh本人語速非常快，而且英語莫名很好聽。他們用AI模擬認知的很多實驗，我認為都相當有意思。和如今大火特火的deep learning對比，我認為這才是未來的人工智慧應該做的事。我很敬佩Josh，他們在做一些世界上絕大多數人都沒有做的事。儘管現在看起來仍然很初級，但是正是這些初級的探索，才為若干年之後的發展奠定了基礎。請讓我們向Josh及他的團隊致以最高的敬意！

Paper之外：workshop

本次ICML的workshop也有很多，我主要關注了兩個：Learning from less labels，以及domain adaptation。其中很驚訝在，在前一個workshop上看到了傳說中的深度學習大巨之一的Joshua Bengio！他們主要關注AI做推理。由於不是做此方向的，之前也沒接觸過，我只是聽懂了大概。

第二個workshop令人相當氣憤。本來以為頂級會議的workshop應該質量也不差吧。沒想到大部分是在灌水，真是是赤裸裸地灌水！我怒懟了一個印度小哥，問他你的motivation是什麼？為什麼要這麼加而不是那麼加？如何調參？我說，你是不是在test data上調參，然後在test data上測試？他說，yes。我無語。看來workshop的質量真的不行，我們還是要關注main conference！

會議之外：與企業的互動

本次會議有諸多的企業也開設了自己的展台，主要是為了宣傳與招賢納士。畢竟，上哪能這麼容易地把如此多的頂會人才聚集一堂呢？所以眾多廠家在會議贊助上也毫不吝嗇。有傳言說本次ICML一共收到了2 million美元的贊助！好的會議就是如此霸氣！

與企業的互動主要是觀看閱讀他們的視頻介紹和現場demo，以及與相關人員進行溝通。一般來說，溝通完了都會得到一些小禮物作為紀念。我回程的行李也因此多了一個大包。值得注意的是，像Google和Deepmind這些超級明星企業並沒有提供禮物，而中國的螞蟻金服、騰訊AI Lab、百度research也沒有。這說明它們的量級是一樣的？

與企業的深入溝通，使我們快速地了解了企業現在在做什麼。本次的一大亮點是，有很多做金融AI(Fintech)的巨頭參展。例如Intuit、AIG、Akabus、HRT、Two Sigma等。另一方面，綜合性的研究機構如IBM Research、Microsoft Research、Google AI、Deepmind、Facebook AI Research、Nvidia、Intel AI、Yandex等，也都有很精彩的展示。

一些有趣的總結

• 一個亞洲人迎面走來，你真的很難區分是中國人、韓國人，還是日本人。區分男性難度更高。
• 印度人的研究兩極分化嚴重。一部分可以到主會上做很紮實的介紹，另一部分只能在workshop上灌水。
• 在ICML上灌水還是很難的。大部分的研究都偏向於機器學習的基本理論。不來開會很難發現，原來機器學習領域值得研究的有這麼多！儘管如此，也有一些灌水的paper。
• 很開心看到學術界，包括高校和研究所，都在踏實地做基本理論方法，以及相關應用研究，把做產品的事交給工業界。如果學術界也只做產品不做理論方法，往往做不過工業界，該做的事沒做好，不該做的事也沒做好，誰來引領下一次科技革命？
• 因為ICML關注機器學習理論，所以有很多非深度學習的研究。而那些偏向於應用的會議就只會對這些研究說，為什麼不和深度方法比？
• 好研究和不好的研究的區別就是，好的研究是一條線貫穿，你能清楚地知道motivation是什麼，為什麼這樣做，為什麼是有效的。不好的研究就是，我知道這樣好，我也不知道為什麼。
• 除了以日常用英語的歐美國家，大部分演講者的英語口語真的會讓人聽不懂。標不標準另說，最起碼得讓人聽懂吧？這方面尤其要說印度人，他們的英語口語，簡直讓人一個字都聽不懂。
• 中科院計算所在國際上的存在感不如自動化所。看到胸牌寫著中科院，百分之九十的人都會問，你是自動化所的嗎？
• 會議的poster環節可以直接和作者交流，通常會比聽他在台上展示更有用，也更直接。
• 百度research的展台非常大，然而人非常少。

關於瑞典

• 瑞典空氣清新，天朗氣清，非常適合旅遊！
• 瑞典的緯度非常高。夏季會有極晝，冬季會有極夜。開會的這幾天，每天早上3點天就大亮了，晚上10點多才是黃昏。日照非常充足，大街上隨處可見戴墨鏡的人，因為陽光實在太刺眼！
• 瑞典人的英語出奇地好。幾乎所有瑞典人都會說。瑞典是從小開始就會學英語，所以人人都會兩種語言。在瑞典用英語幾乎通行無阻。
• 瑞典絕大多數場所都可以用信用卡。所以基本上用不到現金。
• 瑞典物價偏高。十公里計程車的費用大約300克朗(220人民幣)，一碗牛肉麵或炒飯的價格是120克朗(90人民幣)。

• 瑞典人很愜意。據說7-8月是度假月，大部分人都出國旅遊去了，導致機場海關檢查窗口只開了一半。
• 瑞典人少、地盤大。會議中心是扁平結構，只有幾層高，但佔地面積十分驚人。
• 瑞典的食物真心不好吃。早飯，麵包夾肉。午飯，漢堡，麵包夾菜。晚飯，麵包上加肉。瑞典沒有熱水，我只能去泡茶的地方接熱水。好同情瑞典人民，他們吃的東西怎麼能和我們大中國比！

總結

什麼叫頂會？有頂級研究成果的會議、有頂級學者參與的會議。

我第一次出國、第一次開會，就能參加ICML，真是倍感榮幸。這比天天待在實驗室收穫大多了。見到不一樣的人，聽到不一樣的研究，你的眼界就不一樣了，看事物的方式也不一樣了。

每個研究生，都應該至少參加一次這樣的頂會。

在頂會上有文章被錄用，本身就是對自身實力的肯定。在今後的日子裡，希望我也可以理直氣壯地拿著paper來開會！加油！

附：本次會議所有的內容都可以在線觀看：Facebook（論科學上網對科研的重要性）

推薦閱讀：