台灣李宏毅老師機器學習ML 第一課 回歸Regression

台灣李宏毅老師機器學習ML 第一課 回歸Regressionmp.weixin.qq.com

三個步驟：1、選擇模型（Model）2、評估函數好壞 3、找到最好的函數

應用舉例

股票預測 自動駕駛輸入圖像信息輸出方向盤角度 推薦系統

寶可夢（神奇寶貝）進化Combat Power（CP）值預測

步驟 1、Model

尋找一個函數集稱作為Model，如圖線性模型有b，w兩個參數可為任意值

步驟2、函數好壞評價

10個寶可夢數據作為訓練數據

定義function的好壞要用到損失函數（Loss Function：L）；

損失函數的輸入是一個函數，輸出是這個函數有多壞L（f）=L（w，b）相當于衡量一組參數w，b的好壞。常見的Loss Function為最小二乘

步驟3、找到最好的函數

相當於窮舉（暴力求解）所有的w，b帶入方程L找到哪一組（w，b）最好。常用尋找方法梯度下降

梯度下降（但是可能是局部最優解，在Linear Regression中不影響)

當只有w一個參數時，看L（w）的導數正負，以一個學習率迭代更新w

對於有兩個參數時

如果Loss Function是下圖樣子

那麼得到結果和初始值w，b的選取有很大關係。

但對於線性回歸（linear regression），Loss Function是收斂的（convex），因為它沒有局部最優函數類似於等高線形狀

對於複雜問題回歸要選擇複雜的Model例如增加二次項三次項四次項等

複雜的Model會使平均訓練誤差變小，但我們關心的是模型預測能力，複雜Model的測試誤差反而可能會變大。這是因為複雜Model可能會導致過擬合

l 一個越複雜的模型會在訓練集上減小誤差

l 在測試集複雜模型不一定會有好的結果（overfitting）

訓練數據的數量對最後預測結果影響很大越大越好，模型選擇也很重要。

Regularization 不需要考慮b，不影響平滑程度

W越接近0，Loss Function就越平滑

Regularization實驗結果：我們希望函數平滑，但不要太平滑

視頻見原文鏈接

推薦閱讀：