2.3 一些常見的離散分布

來自專欄 機器學習 一種概率視角 學習筆記

2.1 二項式與伯努利分布

假如投一枚硬幣 次。令 為頭像朝上的數量。如果頭像朝上的概率是 ，則稱 服從二項式分布，寫作 。概率質量函數為：

其中

是從 中選 個項的方法的數量。這個分布有如下的均值和方差：

假如只投擲硬幣1次。令 為二元隨機變數。頭像朝上的概率為 。則稱 服從伯努利分布。寫作 ，概率質量函數定義為：

換句話說：

2.3.2 多項式與多伯努利分布

假如投一個 面的骰子，可用多項式分布。令 為隨機變數， 是 面骰子朝上的次數。則 有如下概率質量函數：

其中 是 面朝上的概率，並且

是多項式係數。如果設 ，並使用 one-hot 編碼， ，則概率密度為：

這也被稱為離散分布，或多伯努利分布。使用如下符號表示：

2.3.3 泊松分布

稱 服從參數為 的泊松分布，記為 ，概率質量函數為

泊松分布常被用做計數罕見事件的模型。

2.3.4 經驗分布

對於給定數據集 ，定義經驗分布為：

其中 為狄拉克度量，定義為：

一般來說，可以用權重與每個採樣關聯起來：

其中需要滿足 及 。