機器學習基礎概念3：監督學習

特徵和標籤(features and lables)

先說一下什麼是特徵和標籤。

我有一組數據，數據中的值都是成對出現，例如（25，180），25代表人的年齡，180代表身高。我們想通過這組數據得到年齡和身高之間的關係。人的年齡就是特徵，對應的身高就是標籤。

什麼是監督學習？

監督學習就是給你一堆樣本，包括特徵值和對應的標籤值，學習樣本和標籤之間的對應關係。（不給你標籤值讓你學習對應關係就是非監督學習）

表達式

表示輸入，也就是特徵值。

表示輸出，也就是標籤值。

表示一個訓練樣本。

表示樣本集。

註：上標表示樣本的索引值。

大寫表示輸入樣本空間。

大寫表示輸出樣本空間。

監督學習的定義：

學習一個函數（也叫做假設），使得是對應的的很好的預測值。

代價函數(cost function)

代價函數就是用來評估假設與樣本之間的『測量標準』，以『均方誤差』為例：

其中代表代價函數,,代表的參數。

我們的『學習』目標是找到,，使得最小：

梯度下降（Gradient Descent）

理解了什麼是代價函數，我們就可以搞清楚監督學習是如何『學習』的。通過『梯度下降』。具體來說，求代價函數對於參數,的梯度，這個梯度代表使最小的參數優化『方向』，參數減去這個梯度就相當於向使得最小的方向前進。如此循環往複，最終收斂到最合適的參數。用數學公式描述這一過程就是：

這裡的代表特徵的索引。這裡的是學習率，可以理解為前進步幅的大小。

監督學習的方法：

• 回歸(Regression)

• 決策樹（Decision Tree）

• 神經網路(Neural network)

• 支持向量機(Support vector machine)

• K最近鄰(k-Nearest Neighbor)

• 貝葉斯（Bayes）

• 集成學習（Ensemble learning）

推薦閱讀：