softmax

來自專欄深度瞎學NLP

1. softmax function

這函數定義比較符合 softmax 這個名字：

可見 softmax function 是從一個輸入序列里算出一個值。

由於 ，所以

可見 softmax 確實會返回輸入序列中最大的那個值的近似值。softmax 是對真 max 函數的近似，softmax 的函數曲線是光滑的（處處可微分），而 max(0,x) 之類的函數則會有折點。

在機器學習領域，多分類演算法需要從一組可能的結果中找出概率最高的那個，正需要使用 max 函數。而為了能進行優化，用於描述問題的函數必須是可微分的，這樣 softmax 就是一個非常合適的選擇了。

憶臻：詳解softmax函數以及相關求導過程?

zhuanlan.zhihu.comUFLDL深度學習筆記 （二）SoftMax 回歸(矩陣化推導)?

www.cnblogs.com

AS