小結1

對前期學習進行複習小結：

1.線性回歸

（1）LMS演算法：最小均方演算法。又稱梯度下降法。包括批量和隨機。

（2）規範方程法：將目標函數對參數求偏導，並令為零。可求出參數的表達式。

（3）局部加權：當訓練集樣本並非線性回歸，可將局部看成線性回歸，從而模擬出非線性。具體地，離x越近，權值越大，反之越小，從而滿足「局部」。

2.分類——logistic 回歸

利用sigmoid函數的特性，將離散型的分類問題用連續的函數表示。從而可以利用線性回歸里的方法進行優化。同時還介紹了牛頓法。

3.廣義的線性模型：GLM

有些非線性的模型也是可以轉換成線性模型的，將這類成為廣義的線性模型。

其需要滿足三個條件（假設）：

（1）屬於exponential family：

（2）h(θ)=E(y|x)，令模型h(θ)用期望值表示。

（3）η與x是線性相關，η是參數。

最後，再利用線性回歸的方法進行優化。

4.生成學習演算法

之前的演算法，目的都是直接模擬出p(y|x)，我們稱為判別學習演算法。而生成學習演算法，是通過模擬出p(x|y)和p(y)，再根據貝葉斯規則求出p(y|x)。

（1）GDA（高斯判別分析）：用於分類問題。

其中，y~B(φ)，x|y=1~N(μ1,Σ)，x|y=0~N(μ0,Σ)。因此可以求出p(y)和p(x|y)，再用極大似然估計，可求出φ（實數），μ（向量），Σ（矩陣）.

GDA可以寫成logistic 回歸，但logistic 回歸不一定能寫成GDA，因此GDA的條件性更強，logistic 回歸應用更廣泛。

（2）樸素貝葉斯：用於分類問題。

條件獨立性假設：在y條件下，特徵向量的各屬性之間相互獨立。

其中，與GDA不同，特徵向量的元素xi也是離散的，即只取{0,1}。

再用極大似然估計，可求出φ(y)，φ(xi|y=1)，φ(xi|y=0)，三者均為實數。其中，φ(xi|y=1)，φ(xi|y=0)為參數向量的元素。

為了防止出現概率為0的情況，還引入了laplace項。

5.支持向量機SVM——分類問題。

（1）線性可分SVM——轉化為對偶問題

（2）線性不可分SVM——引入正則項

（3）非線性SVM——SMO演算法

其中，介紹了拉格朗日對偶性，將原始問題轉換為對偶問題，使問題易於優化。

總結：前三章的優化方法是通用的，包括梯度下降法，規範方程法，牛頓法。第四章是基於貝葉斯原理，優化方法採用極大似然估計。第五章是基於拉格朗日對偶性，再利用KKT條件。