筆記：簡單理解邏輯回歸（分類演算法）

以上篇為基礎，

上篇預測函數

而邏輯回歸預測函數

一些概念在上篇里可以找到

質乎：筆記：簡單理解線性回歸zhuanlan.zhihu.com

邏輯回歸

為什麼叫邏輯回歸

因為sigmoid函數啊

Sigmoid函數是一個在生物學中常見的S型的函數，也稱為S型生長曲線。

Sigmoid函數常被用作神經網路的閾值函數，將變數映射到0,1之間。

其特點就是概率接近0和1都密集，接近0.5則十分稀疏，適合二分類。

自然地，Sigmoid計算得到的值大於等於0.5的歸為類別1，小於0.5的歸為類別0。

邏輯回歸的任務就是得到 組，使通過 組後的數據映射到Sigmoid的兩端（離散化）。

sigmoid函數的導數有趣

邏輯回歸的代價函數

好了，所要用的幾個函數我們都好了，接下來要做的就是根據給定的訓練集，把參數w給求出來了。要找參數w，首先就是得把代價函數（cost function）給定義出來，也就是目標函數。

我們第一個想到的自然是模仿線性回歸的做法，利用誤差平方和來當代價函數。

來自文章——

邏輯回歸(logistic regression)的本質--極大似然估計blog.csdn.net

結果失敗了，這個二分類任務加入了指數的Sigmoid，出現許多局部最小值。

李敏同學：那怎麼辦呢？

聰明的ML學者換了一個思路。

如果想把數據分為兩類，一類叫1，一類叫0。

概率值

聰明的ML學者為了好看和方便整合

舉例：如果 那麼標籤為1的概率0.3，標籤為0的概率0.7。認為它是標籤0，計算時就計算0.7。

然後是套路（不懂看上一篇線性回歸的文章）

ML統一用梯度下降（大概這樣比較聰明）所以都轉化成梯度下降。梯度下降（反向傳播）不知道？見鏈接。這兒不能直接求出能使目標函數最小的θ組了。

【1】

質乎：反向傳播演算法的簡單理解zhuanlan.zhihu.com

【2】

梯度下降（Gradient Descent）小結www.cnblogs.com

那個 是因為求導出的增量是m個樣本數據之和，太大，平均m分較為合適。

更新到θ組穩定，就大概是（局部）最優了。

李敏同學：如果分類很多呢？

ML學者：隆重推出softmax！

下一篇文章見。

推薦閱讀：