機器學習領域，如何選擇研究方向？

01-25

剛入博門的小博一枚，上個學期都在上課，科研幾乎沒怎麼搞，這學期要進入科研狀態了，關於研究方向，找導師談過，具體方向沒定，老闆讓我自己找，他只說他現在對深度學習和集成學習挺感興趣。但是這兩塊都是很大的一塊，這幾周我都盲目的掃了很多文章，雲里霧裡各種暈頭轉向。那麼，我要如何選擇研究方向呢？在老闆不給定方向的前提下。大家有什麼好的建議？
補充一下：老闆之前是做資訊理論和壓縮感知的，從上學期開始，想搞機器學習了，組裡把PRML這本書給講過了，機器學習方面實驗室算是沒有其他積累。

我建議去做深度學習，並且結合老闆的背景。看看對下面這些方向是否感興趣（畢竟你自己在做，我不建議你去做，像搭建convonet,然後跟別人拼accuracy)：

深度學習領域很廣，模型又很多，但是人們對「深度學習為什麼會work" 仍然不是很清楚。比如用深度學習模型學出來的hidden units之間的關係是什麼？深度模型中每一層學出來的到底是什麼，有什麼關聯？為什麼dropout會work, 怎麼設計dropout使得學出來的模型更robust而且正確地分辨adversial example? 人們常說深度模型是universal approximation, 那有沒有某些region是deep network不能capture的？人們常常去搭建很複雜的模型用幾百萬或者幾億個參數，但真的有必要嗎？真的需要這麼大的model capacity嗎？（從這個問題可以引申出一些model compression的問題，就是能不能用更小的模型去approximate原有非常龐大的模型)。深度模型的重點是representation (很容易想像出會跟數學裡的representation theory會有點關係）， Bengio等人強調好的representation是meaningful, invariant, abstract and disentangled，那深度模型真的能學出這些嗎？可不可以從實驗的角度做些針對性的分析？能不能從理論的角度給出合理的解釋？ ....

在這些分析和理論研究上會用到很多數學工具，比如資訊理論，但不一定要數學背景非常好，如果能分析出有意思的現象，其實也很不錯的。比如這篇文章（http://arxiv.org/abs/1406.1222）就用資訊理論的知識去分析高維數據，你也可以想想怎麼用這種思維去分析深度模型。比如這篇文章（http://arxiv.org/abs/1402.4437）是用group theory去分析為什麼深度模型會work，比如這篇（http://arxiv.org/abs/1312.6184 ) 分析model compression的問題, 比如（http://arxiv.org/abs/1411.1792 )分析每一層layer學出來的representation, 還有這篇（http://arxiv.org/abs/1402.3811）用複雜理論來分析dropout, 還有這篇（http://arxiv.org/abs/1312.6199）分析什麼情況下深度模型會fail.....

這種問題目前都是largely open, 可以好好想想怎麼結合你們實驗室的優勢（比如資訊理論，壓縮感知..）去解決這些深度學習方面非常重要而且根本的問題，應該是個不錯的博士課題。

我跟樓主的情況差不多，而且我還是老闆第一屆的博士。說實話，個人感覺老闆這裡並沒有適合博士做的課題，他給我定的是仿生視覺。我查了一些文獻也確實有些興趣，不過確實太難，主要是實驗室0基礎。我現在博二了，還在摸爬中。因為我感覺我們遇到的問題差不多，所以來此說一下我自己的做法，僅僅是個人看法。仿生視覺其實是一個很大的題，並且也做了很長時間了，但是難度挺大的，就國內而言，做這個的團隊並不多。在我查文獻的時候也感覺這個做起來不容易，更坑爹的是老闆讓我一個人做。。。我剛開始就做兩件事：1、繼續查看視覺生理方面的文獻；2、查看saliency detection方面的文獻（其實也做了好幾年了），因為上手比較容易，然後自己也湊了個演算法，寫了個小論文，雖然並不是什麼很有創新的演算法，但能做出點東西也多少能夠緩解我對「不能按時畢業」的恐慌（其實老闆私下裡也跟新來的博士說我做的跟他預想的有偏離。。。無語，他不怎麼看論文我也沒法解釋）。現在么，saliency detection的工作結了，視覺生理方面的東西也有所了解，有時候也會有些小想法去實現。雖然剛開始的過程很不爽，不過也算是找到畢業的路了。這些話都是即時興起寫的，有點亂，哈哈。我想說的幾點就是：

1、找方向的事不著急。除非老闆比較好，能直接提供靠譜的方向，自己找的話需要個積累的過程。

2、可以在自己能做點事的相關方向先做點事，長期沒有成果對於做科研是很傷的。。。

3、就跟大多數的回復一樣，做東西最好結合具體問題，就像視覺仿生，你想用什麼樣的機制去解決什麼問題，整天瞎看瞎找效率並不高。

4、祝好！

作為過來人，給你一點經驗吧，其實都是血淚史。

我看到你說的這兩塊內容，都比較擔心。集成學習非常老了，研究成果已經很豐碩了。你可以看看周志華老師的主頁，他是研究集成學習的大家。很遺憾的說，現在這塊已經不「熱」了。我這麼說的意思是這個對你發文章沒有「助力」。

深度學習現在還在熱吧，不過的確像樓上們所說，你實驗室就你一個人單槍匹馬的搞，實在是夠難為你的。

我很贊同@金尚贇所說的論點，對於你的情況，幾乎沒有外力可以輔助你把這個博士念下來，你就更應該找一個自己感興趣的問題，依靠興趣作為你的動力，要不然怎麼過這個四五年啊！

深度學習和集成學習都僅僅是方法，博士的確需要創新方法，但是在有一個背景的情況下創新方法會容易得多，而且在有具體問題下去創新也不一定非要局限在你說的兩個方法。而且，既然你老闆的背景是資訊理論和壓縮感知，為什麼不結合你老闆的研究方向，用機器學習來解決這個領域中的問題呢？這種算是用新方法解決老問題，也不錯的，說不定還能寫出來一個基金呢。

我最近在看這本書：DEEP LEARNING

雖然還沒寫完，但真挺不錯的。推薦一下。

先別找方向，先狂掃幾遍機器學習的經典書和文章，然後再把幾個牛會的文章看看，你自然就有方向了，不用別人給你找

我覺得應該要有目的的學習知識，而不是為了學習而學習。比如說，為了解決人臉識別等問題而學習深度學習和集成學習，這樣針對性更強，學習更加有效。

學習功能是智能本質的一種體現，人類正因為有了學習能力，所能才能不斷地發展智能，才能創造新事物，才能擺脫自然進化的束縛成為世界的主宰。

機器學習就是研究如何使計算機能夠模擬或實現人類的學習功能，從大量的數據中發現規律，提取知識，並在實踐中不斷地完善、增強自我，機器學習是機器獲取知識的根本途徑，只有讓計算機系統具有類似人的學習能力，才有可能實現人工智慧的終極目標。

機器學習使用的方法主要是歸納、綜合的方法，而不是演繹方法，現在機器學習研究工作，主要是圍繞以下三個方面進行的，可以任選其一。

1.面向任務的研究：研究和分析改進一組預定任務執行性能的學習系統。

2.認知模型：研究人類學習過程並進行計算機模擬。

3.理論分析：從理論上探索各種可能的學習方法和獨立於應用領域的演算法

機器學習也是人工智慧研究的核心問題之一，是當前人工智慧研究的一個主要熱點方向，從事機器學習領域，一定要知道，在機器學習領域，主要的學習方式有哪幾種？ - 人工智慧多智時代

只是一點小建議，實驗室沒積累感覺不要做深度學習了，設備平台搭起來就很麻煩。實驗室沒條件最好選擇實驗平台簡單的，不然正題還沒開始已經花費大量時間了。

無gpu不dl

感覺周圍搞dl的人不那麼順利，樓主三思

我以前也想過什麼深度學習之類的，或者雲計算等等比較熱門的，可是嘗試了一段時間發現實驗室沒這個條件，就你一個人單打獨鬥真的太難了。所以如果你是超級牛人就當我沒說，如果你是普通的，還是沿著你實驗室的路走吧，畢竟站在別人肩膀上才能看的更高。

Deep Learning其實很坑，可是試試Bayesian Nonparametric

直接擼深度學習吧，還能找個不錯的工作，其他都是扯淡