謝小嬌學了想改行之最大熵模型

排版好的點這裡！謝小嬌學了想改行之最大熵模型

雖然根本沒人看

我在想我要不改寫JavaEE的一些基礎內容，數學限制了我的自學能力QAQ

事實證明，學校教的工數代幾根本不夠用……

今天來講講（複製粘貼）最大熵模型

大概……刪了一半的數學公式吧（微笑）

不要把所有雞蛋放在一個籃子里

& 不要弔死在一個樹上

其實可以姑且認為是今天講的最大熵模型。

最大熵原理

具體什麼意思呢？

就是如果和你說我有一個骰子，6個面，扔到每個面的概率是多少呢？

直覺告訴我們是1/6，這個直覺就符合最大熵模型。

繼續，還是6個面，有兩個面的概率和是1/2，扔到每個面的概率是多少呢？

直覺告訴我們兩個面是1/4，其餘為1/8，這個直覺就符合最大熵模型。

玄學上講：「知之為知之 不知為不知 是知也。」

最大熵原理的本質：系統中事件發生的概率滿足一切已知約束條件，不對任何未知信息做假設，也就是對於未知的，當作等概率處理。

公式證明：

推薦閱讀：(http://blog.sina.com.cn/s/blog_b4c472bf0102xy5a.html)

最大熵模型

我們先來解釋一下特徵函數（摔）

然後幫助理解最大熵模型推導過程的解釋：

詳細閱讀：（http://blog.csdn.net/itplus/article/details/26550201）

最大熵模型學習

放棄了吧哈哈哈哈哈哈哈哈哈哈哈哈哈哈

哈哈哈哈哈哈哈其實就是極大極小化一個變化。

用個例子來續一波：

推薦閱讀（https://www.zhihu.com/question/24094554）

理解原理會吹牛逼即可！

淺嘗輒止給人幸福！

後面具體的求解最大值我就不貼了，畢竟都是數學公式，實際上就是前面發過的梯度下降&牛頓迭代法的運用。

資料來源：

《統計學習方法》

網上資料已經在文中貼出。

關注一下，一起學習哈。

http://weixin.qq.com/r/vS0qLsfEJA9YKYNNb3g5 (二維碼自動識別)

微信掃一掃