最大熵和正態分布的關係是什麼?


感謝邀請。

最大熵的連續分布:

已知區間==&>均勻分布

已知均值==&>指數分布

已知均值和標準差(方差)==&>正態分布

即在均值和標準差已知的情況下,正態分布是最大熵分布。


參見:正態分布的前世今生(四),簡單說一下,有空來補充。

平時因爲我們測量時候最容易得到的數據也就是關於均值和協方差(關聯)的有關信息,與這些有關的約束加上最大熵要求,不考慮更高階的關聯,一般都是得到正態分佈。但是如果涉及到高階矩,或者約束條件有些奇怪,則不能得到正態分佈。


確定均值和方差下,高斯函數是熵最大的函數

也就是說,確定均值和方差下,正態分布也就是熵最大,最混亂,最無序的分布


推薦閱讀:

計量經濟學中,樣本容量是不是越大越好?
相關係數具有傳遞性嗎?
為什麼樣本量太大時用卡方檢驗做獨立性檢驗會失效?
如何有效處理特徵範圍差異大且類型不一的數據?
能否使用3的指數來減小二進位文件存儲的體積?

TAG:數學 | 統計學 | 概率 | 正態分布 | 概率論 |