2.5 聯合概率分布

2.5.1 協方差與相關性

兩個實數 與 的協方差度量了相關性的程度。協方差定義為：

如果 是一個 維隨機向量，則其協方差矩陣被定義為如下對稱正定矩陣：

協方差範圍是零到無窮，可以使用標準化度量來變得有上界。相關係數定義如下：

相關矩陣有這種形式：

且 ，對角線每個元素都是1。如果 則 。相關係數與回歸線的斜率有關。回歸係數由 給出。如果 與 獨立，意味著 ，則 ，因此 ，所以它們是不相關的。反過來卻不是，不相關不代表獨立。例如，若 並且 。很明顯 和 是相關的, 由 唯一確定，但可以看到 。

2.5.2 多元高斯分布

多變數正態分布是連續變數中應用最廣泛的聯合概率密度函數。 維多變數正態分布定義為：

其中 是均值向量， 是 協方差矩陣。有時會用京都矩陣或濃度矩陣代替。這只是協方差矩陣的逆矩陣， 。歸一化常數 只是為了保誠概率密度函數積分為1。

2.5.3 多元學生 分布

多元 分布的概率密度函數為：

其中 稱為尺度矩陣，因為它不完全是協方差矩陣， ，這比高斯分布有更胖的尾巴。 越小尾巴越胖，當 ，該分布趨近於高斯分布。該分布有如下屬性：

2.5.4 狄利克雷分布

貝塔分布的多變數泛化是狄利克雷分布，它支持概率單純形，定義為：

概率密度函數為：

其中 是貝塔函數對 變數的自然概括：

其中 。該分布具有如下屬性：

其中 。通常使用對稱狄利克雷先驗 ，這種情況下，均值為 ，方差為 。所以增加 可以增加精度，減少方差。

推薦閱讀：