損失函數——負對數似然

本文討論一種常見的損失函數，負對數似然函數。

損失函數是用來衡量模型好壞的一個標準，在機器學習里，我們通常希望模型有比較小的loss，那麼該如何選擇我們的損失函數呢？最小化負的似然函數，借鑒了統計學的思想，是一種常見的損失函數。

Nagative Maximum Likehood

首先，假設我們有一堆的樣本點： ，我們希望我們訓練出來的模型能夠準確預測 的類別。通常來說，我們定義的模型都會對每個目標類別輸出一個概率值，所以，本質上，我們希望得到一個函數，它能告訴我們樣本 屬於+1的概率（或者屬於-1的概率，本質上是一樣的）：

所以，我們的模型 產生樣本集 的概率有多大呢：

如果我們的模型足夠好的話，那麼上面的似然函數的值會很大，我們現在需要在假設空間裡面，把最好的 給找出來，哪個 最好呢？就是使得 最大的那個模型咯。

...

我們發現，對於不同的模型，都要乘上 ，這對於我們比較不同模型的好壞，沒有幫助，所有我們可以把它略去。

所以，似然函數表達式變為：

我們通常選擇sigmoid function當做 ，本文最後會給出sigmoid function的性質。由於採用了sigmoid函數，似然函數表達式變為：

進一步的可以寫成：

損失函數

對上述的似然函數取負數，再取log，可以得到最終的負對數似然損失函數：

求導

sigmoid function

我們通常會選擇sigmoid function當做 。

函數特性

• =0；
• 
• 
• 連續、單調
• 

參考

[1]. 機器學習-損失函數

[2]. 林軒田 「機器學習基石」