邏輯回歸（二分類）與極大似然

邏輯回歸

線性模型除了進行回歸預測還可以進行分類，但是需要特別的處理。對二分類問題，其輸出標記y預期為0或1，而線性回歸產生的預測值f(x)=wT*x是實值 （暫不考慮偏移）,所以要把f(x)映射到0與1，這裡可選擇增加sigmoid函數如對數幾率函數g(f(x))=1/(1+e-f(x))以逼近y，即 x（範圍不定）~ f(x)（範圍不定）~ g(f(x)) （範圍0 1），此時ln(y/(1-y))= wT*x即用線性模型的預測結果去逼近真實標記的對數幾率（以0為分界，隨幾率增長），

http://www.letiantian.me/2014-09-18-logistic-regression/

http://www.cnblogs.com/bnuvincent/p/5095909.html

損失函數

在線性回歸中我們假設數據服從正態分布而得出最小二乘，在邏輯回歸中則假設數據服從2項分布，故無法直接使用均方誤差（會導致），需要使用極大似然法進行參數估計，即找出讓已知數據集出現概率最大的權重估計，為方便求解，同樣加log並乘-1，把求連乘的最大轉換為求連加的最小，注意不管是均方誤差還是負對數，都要求平均才是正確的損失函數。

https://segmentfault.com/a/1190000008046030

http://www.cnblogs.com/dengdan890730/archive/2016/05/31/5545616.html

極大似然

已知條件預測未來，比如知道硬幣有沒有作弊預測接下來出現正反面的機會是否一半一半，是概率分析，已知一組丟硬幣的結果要估計硬幣有沒有作弊，是似然估計。

我們先假設硬幣向上的概率p，則向下的概率為1-p：

已知硬幣連續2次出現正面，則p=0.5時出現此數據的概率為p*p=0.25，則在觀察到連續2次投擲都正面向上時p=0.5的似然函數值是0.25，

相應的如果p=0.6則似然函數值變為0.36，即已連續出現2次正面的情況下p=0.6的可能性比p=0.5要大，

考慮到p介於0到1之間，則p=1時似然函數達到最大值1，即連續出現2次正面的情況下p=1是最合理的，

假設共拋n次k次正面向上，則正面向上的概率為Cknpk(1-p)n-k，

在邏輯回歸中p為w的函數p(w)，組合項在後續求導中可捨去，我們的目標就是找出讓已知數據集出現概率最大的w，

可對似然函數加ln再對w求導找極值，為了利用梯度求導一般取的是負對數求最小。

http://xiaosheng.me/2017/03/01/article37/

其他

線性模型只能擬合出線性分界，如果要得到非線性的效果，可以進行變數轉換，如把x換成x2

https://www.zhihu.com/question/29385169

開始的時候不用考慮各個特徵之間是否有相關性，直接把能用的特徵全部線性加權起來就好。

經過初步訓練，觀察各個特徵的權值，如果權值接近0，就可以將這個特徵看做可以去除的。

http://blog.csdn.net/xmu_jupiter/article/details/46755679