為什麼目前的特徵學習演算法都是無監督的？

02-06

如題，有監督的特徵學習演算法有嗎？或者說有研究的價值嗎？

deep learning和傳統的機器學習方法很大的一個分別就是feature learning，傳統的機器學習更多的依賴於人工feature的設計，deep learning更多的依靠predefined structure進行feature learning。06年hinton的深度神經網路取得了很好的效果，主要可能有兩個原因：

1 大數據 2 pretraining（比如aoto-encoder，也就是你所說的無監督學習）

在80年代神經網路不work的主要原因就是模型太複雜，複雜的模型理論上有更好的表達能力但是非常難訓練，所以需要更多訓練數據。或者一個比較好的初始化也是有好處的。

auto-encoder就是根據信息學原理利用無監督的方法得到一個比較好的初始化。最後還是需要有監督的方法進行調整參數的。

其實最近幾年pre training的作用已經越來越被看淡了。大數據加上比較好的正則化方法（比如dropout+reLU）已經可以取得不錯的訓練結果了。

所以某種意義上看特徵學習演算法其實是有監督的。

有監督的學習和無監督的學習是兩種重要的方法。

在樣本沒有標記的情況下，可以使用無監督的學習，做一個初始的分類。

如果無監督學習的情況不能完全滿足要求，可以在此基礎上繼續使用有監督學習。

有監督學習非常重要。即使是深度學習，在最後執行分類時，仍然需要有監督學習環節。