隨機變數的矩和高階矩有什麼實在的含義？

01-01

在實踐中，每一個X的矩都告訴你一些關於X分布的信息。

舉例而言，期望 $E(X)$ 描述隨機變數以概率為權重的平均值。根據大數定理(LLN)，對於 ${X_i}overset{i.i.d.}{sim}X$ , $E(|X|)<infty$ 。令這些獨立同分布隨機變數的和為 $S_n=sum_{i=1}^nX_i$ ，則和的平均值依分布收斂於期望 $E(X)$ ，即 $frac{S_n}{n}overset{d}{ ightarrow }{E(X)}$ 。換而言之，對於期望存在的獨立同分布隨機變數，當實驗重複多次時，其平均值近似可以看作均值。方差 $Var(X)$ 描述隨機變數的離散程度。方差越大的隨機變數的結果，往往會更偏離其期望；而小方差的隨機變數往往靠近其期望。

進一步而言，期望和方差分別可以和不等式一起運用來給出更一般的分布性質。對期望而言，我們有Markov不等式：即對於非負隨機變數 $Xgeq 0$ ， $forall b geq 0$ ，我們可以給出X概率分布的不等式， $P(Xgeq b)leq frac{E(X)}{b}$ 。對於方差而言，我們有Chebyshev不等式：即對於任意二階矩存在的隨機變數 $X$ ，我們可以給出X偏離期望概率的不等式， $P(|X-mu|geq varepsilon )leq frac{Var(X)}{varepsilon^2}$ 。雖然這兩個不等式都沒有辦法對特定的分布給出「較好」的界，但是他們對於任何符合要求的隨機變數都可以成立。

除開期望與方差，我們還有很多在實踐中可以用來描述分布的矩。例如：偏度，標準3階矩，即 $E[(frac{X-mu}{sigma})^3]$ 。它的正負及大小用來衡量分布的不對稱性。偏度為正代表分布為右偏態，即右側的尾部更長，分布的主體集中在左側。峰度，標準4階矩，即 $E[(frac{X-mu}{sigma})^4]$ 。它用來描述隨機變數分布的峰態。

偏度與分布的關係

Image Source:Skewness

在理論中，在一定情況下，矩可以完全決定分布。

特徵函數(characteristic function)， $g_X(t)=E(e^{itX})$ ，是理論中分析隨機變數 $X$ 分布的有力工具。由於Laplace變換的一一對應性和被積函數的連續性與有界性， $e^{itx}=cos(tx)+isin(tx)$ ，我們可以得到(1)分布和特徵函數一一對應，即如果兩個隨機變數有相同的特徵函數，則他們一定有相同的分布；(2)任何隨機變數的特徵函數都存在。除了特徵函數，我們還有矩母函數(moment generating function)， $M_X(t)=E(e^{tX})$ 。由於也是Laplace變換，矩母函數也有特徵函數的分布與自身一一對應的性質，但由於去掉了虛部，矩母函數並不一定存在。也就是說，在不考慮矩母函數不存在的時候，我們可以通過矩（特徵函數和矩母函數都是一族矩）來完全決定分布。

需要注意的是，全部的n階矩並不能完全決定分布。雖然對於矩母函數而言，我們有 $M_X(t)=E(e^{tX})=E(sum_{k=0}^{infty}frac{(tX)^k}{k!})=sum_{k=0}^{infty}frac{E(X^k)}{k!}t^k$ 。看上去只要兩個隨機變數的所有n階矩存在且相等，就意味著它倆的矩母函數相等，從而得到兩者有相同的分布。但事實並非如此，矩母函數有可能並不收斂。舉例而言，對於對數正態分布，其任意n階矩都存在， $E(X^n)=E(e^{Z imes n})=e^{nmu+frac{n^2}{2}sigma^2}$ 。但其有可能構造出一個密度函數在對數正態分布上震蕩的函數，使得n階矩相等，例如對於標準對數正態分布，其密度函數為 $f_0(x) = frac{1}{sqrt{2pi}x} e^{-frac{{log x}^2}{2}}$ ，對於密度函數為 $f_a(x) = f_0(x) (1 + a sin (2pi log x))$ 的分布，兩者的n階矩都相等但是不是同分布。但是反而言之，如果我們解決不收斂的條件，即對於任意已知矩母函數存在的分布，如果有另一個隨機變數的所有n階矩都與之相等，則這個隨機變數服從於這個已知分布。例如：正態分布由其所有n階矩決定。或者對於更一般的情況而言，如果需要分布完全被其n階矩決定，那麼其矩需要滿足如下條件： $sup lim_{k ightarrow infty} frac{E(X^{2k})^{frac{1}{2k}}}{2k}$ 是收斂的。對於非負的隨機變數，上述條件可以簡化為 $sup lim_{k ightarrow infty} frac{E(X^{k})^{frac{1}{2k}}}{2k}$ 收斂即可。

贊最高票回答。事實上資訊理論可以把矩的信息這件事情說的很形象。

其第一句話

每一階矩都告訴我們這個分布的一些信息，

嚴格表達就是：

一個分布可以完全被可數階矩描述等價於其各階矩看作隨機變數時，其信息之和收斂於原分布的信息。

個人粗淺理解（以下高階矩對比對象均為正態分布）：

三階矩表明隨機變數具有多少「彩票」的性質，比如分布均值為0，但中位數在均值左邊，說明你50%概率拿到一個負數回報，但一旦中獎，將獲得一個巨大正回報。

四階矩表示分布是不是比正態分布更容易發生極端事件（分布厚尾表示黑天鵝更容易發生）。

如有錯誤請大家多多指正！