機器學習-線性回歸

給定條件：

• 數據集
• （特徵向量）是 維向量
• 是一個標量

假設函數：

目標函數：

優化方法：梯度下降法

Step1：用0或者小的隨機值來初始化 和 ；

Step2：計算出初始化下的 和 對應的 值，記作 ，其中 的緯度為 ， 的緯度為 , 的緯度為 ；

Step3：用均方誤差計算訓練集上的損失： ；

Step4：計算每個參數的梯度，為了便於計算，令 ，其中 ,則單個權重值的梯 度為;所有權重值的梯度為 ;

Step5：更新權重值和向量 ，其中， 表示學習率。

在達到指定訓練次數或參數收斂前，重複Step2~Step5。