隨機變數的矩和高階矩有什麼實在的含義?


  • 在實踐中,每一個X的矩都告訴你一些關於X分布的信息。

舉例而言,期望E(X)描述隨機變數以概率為權重的平均值。根據大數定理(LLN),對於{X_i}overset{i.i.d.}{sim}X,E(|X|)<infty。令這些獨立同分布隨機變數的和為S_n=sum_{i=1}^nX_i,則和的平均值依分布收斂於期望E(X),即frac{S_n}{n}overset{d}{
ightarrow }{E(X)}。換而言之,對於期望存在的獨立同分布隨機變數,當實驗重複多次時,其平均值近似可以看作均值。方差Var(X)描述隨機變數的離散程度。方差越大的隨機變數的結果,往往會更偏離其期望;而小方差的隨機變數往往靠近其期望。

進一步而言,期望和方差分別可以和不等式一起運用來給出更一般的分布性質。對期望而言,我們有Markov不等式:即對於非負隨機變數Xgeq 0forall b geq 0,我們可以給出X概率分布的不等式,P(Xgeq b)leq frac{E(X)}{b}。對於方差而言,我們有Chebyshev不等式:即對於任意二階矩存在的隨機變數X,我們可以給出X偏離期望概率的不等式,P(|X-mu|geq varepsilon )leq frac{Var(X)}{varepsilon^2}。雖然這兩個不等式都沒有辦法對特定的分布給出「較好」的界,但是他們對於任何符合要求的隨機變數都可以成立。

除開期望與方差,我們還有很多在實踐中可以用來描述分布的矩。例如:偏度,標準3階矩,即E[(frac{X-mu}{sigma})^3]。它的正負及大小用來衡量分布的不對稱性。偏度為正代表分布為右偏態,即右側的尾部更長,分布的主體集中在左側。峰度,標準4階矩,即E[(frac{X-mu}{sigma})^4]。它用來描述隨機變數分布的峰態。

偏度與分布的關係

Image Source:Skewness

  • 在理論中,在一定情況下,矩可以完全決定分布。

特徵函數(characteristic function),g_X(t)=E(e^{itX}),是理論中分析隨機變數X分布的有力工具。由於Laplace變換的一一對應性和被積函數的連續性與有界性,e^{itx}=cos(tx)+isin(tx),我們可以得到(1)分布和特徵函數一一對應,即如果兩個隨機變數有相同的特徵函數,則他們一定有相同的分布;(2)任何隨機變數的特徵函數都存在。除了特徵函數,我們還有矩母函數(moment generating function),M_X(t)=E(e^{tX})由於也是Laplace變換,矩母函數也有特徵函數的分布與自身一一對應的性質,但由於去掉了虛部,矩母函數並不一定存在也就是說,在不考慮矩母函數不存在的時候,我們可以通過矩(特徵函數和矩母函數都是一族矩)來完全決定分布。

需要注意的是,全部的n階矩並不能完全決定分布。雖然對於矩母函數而言,我們有M_X(t)=E(e^{tX})=E(sum_{k=0}^{infty}frac{(tX)^k}{k!})=sum_{k=0}^{infty}frac{E(X^k)}{k!}t^k。看上去只要兩個隨機變數的所有n階矩存在且相等,就意味著它倆的矩母函數相等,從而得到兩者有相同的分布。但事實並非如此,矩母函數有可能並不收斂。舉例而言,對於對數正態分布,其任意n階矩都存在,E(X^n)=E(e^{Z	imes n})=e^{nmu+frac{n^2}{2}sigma^2}。但其有可能構造出一個密度函數在對數正態分布上震蕩的函數,使得n階矩相等,例如對於標準對數正態分布,其密度函數為f_0(x) = frac{1}{sqrt{2pi}x} e^{-frac{{log x}^2}{2}},對於密度函數為f_a(x) = f_0(x) (1 + a sin (2pi log x))的分布,兩者的n階矩都相等但是不是同分布。但是反而言之,如果我們解決不收斂的條件,即對於任意已知矩母函數存在的分布,如果有另一個隨機變數的所有n階矩都與之相等,則這個隨機變數服從於這個已知分布。例如:正態分布由其所有n階矩決定。或者對於更一般的情況而言,如果需要分布完全被其n階矩決定,那麼其矩需要滿足如下條件:sup lim_{k
ightarrow infty} frac{E(X^{2k})^{frac{1}{2k}}}{2k}是收斂的。對於非負的隨機變數,上述條件可以簡化為sup lim_{k
ightarrow infty} frac{E(X^{k})^{frac{1}{2k}}}{2k}收斂即可。


贊最高票回答。事實上資訊理論可以把矩的信息這件事情說的很形象。

其第一句話

每一階矩都告訴我們這個分布的一些信息,

嚴格表達就是:

一個分布可以完全被可數階矩描述 等價於 其各階矩看作隨機變數時,其信息之和收斂於原分布的信息。


個人粗淺理解(以下高階矩對比對象均為正態分布):

三階矩表明隨機變數具有多少「彩票」的性質,比如分布均值為0,但中位數在均值左邊,說明你50%概率拿到一個負數回報,但一旦中獎,將獲得一個巨大正回報。

四階矩表示分布是不是比正態分布更容易發生極端事件(分布厚尾表示黑天鵝更容易發生)。

如有錯誤請大家多多指正!


推薦閱讀:

拓撲量子計算的前景?
x^2+y^2=x^3有幾組整數解?
喜歡建模的人可以從事什麼樣的工作?
學數學需不需要很好的基礎,或者說是不是要從小就開始學?
如何證明 若兩個實數 a·b=0,則 a=0 或者 b=0?

TAG:數學 | 概率 | 隨機 | 概率論 |