似是而非的答案:概率論悖論 | 張天蓉專欄(二)
導語:
如今,「概率」一詞在我們的生活中隨處可見,被人們使用得越來越廣泛和頻繁。這是一個多變的世界,一切都在變化,由變數構成了我們的世界,其中包括決定性變數。例如,新聞中提到的「北京時間2016年11月3日20時43分,長征五號在海南文昌成功發射」,此處的時間、地點都是固定的決定性變數。我們的生活中還有許多隨機變數,比如明天霾污染的程度、某公司的股票值等等,都是不確定的隨機變數。
隨機變數一般用概率來描述,生活中處處是隨機變數,因而處處有概率。氣象預報員會告訴你今天早上8點鐘的「降水概率」是90%;股市的信息可能是一種股票3個月之後翻倍的概率是67%;你的朋友會告訴你,你所買彩票的中頭獎的概率只有一億分之一!概率可以被粗糙地定義為事件發生的頻率,即發生次數與總次數的比值。更準確地說,是總次數趨於無限時,這個比值趨近的極限。
今天,我們就來聊聊概率中的隨機變數以及其中的概率論悖論。
撰文 | 張天蓉 (美國德州大學奧斯汀分校理論物理博士)
責編 | 呂浩然
● ● ●
概率論專欄:
上帝教人擲骰子——「神童」帕斯卡與概率論
雖然概率的定義不難懂,似乎人人都能理解,但你可能不知道,概率計算的結果經常違背我們的直覺。概率論中有許多難以解釋、似是而非的悖論,從中人們得到的結論是:不能完全相信直覺!
人類的大腦有它的誤區和盲點,就像開汽車的駕駛員視覺中有「盲點」一樣,需要幾面反光鏡來幫助克服。我們的思維過程中也有盲點,需要計算和思考來幫助澄清。概率論是一個經常出現與直覺相悖的奇怪結論的領域,連數學家也是稍有不慎便會錯得一塌糊塗。現在,我們就來看看經典概率中的幾個著名悖論和謬誤。
基本比率謬誤(Base Rate Fallacy)
先看一個生活中的例子。
王宏去醫院作驗血實驗,檢查他患上了X疾病(患病比率為千分之一)的可能性,其結果為陽性。網上的資料顯示,實驗總是有誤差的,這種實驗有「百分之一的假陽性率和百分之一的假陰性率」。這句話的意思是說,在得病的人中做實驗,有1%的人是假陽性(即實際是陰性,卻得到陽性的結果),99%的人是真陽性。而在未得病的人中做實驗,有1%的人是假陰性,99%的人是真陰性。於是,王宏根據這種解釋,估計他感染X疾病的可能性(即概率)為99%。王宏想,既然只有百分之一的假陽性率,那麼,百分之九十九都是真陽性,那我感染X病的概率便應該是99%。
可是,醫生卻告訴他,他被感染的概率只有0.09左右。這是怎麼回事呢?王宏的誤區在哪裡?
醫生說:「99%是測試的準確性,不是你得病的概率。你忘了一件事:這種X疾病的患病比率並不大,每千人中只有一個人患X病。」
醫生的計算方法是這樣的:因為測試的誤報率是1%,1000個人將有10個被診斷為假陽性,而根據X病在人口中的比率(1/1000=0.1%),真陽性只有1個。所以,大約11個測試為陽性的人中只有一個是真陽性(患病)的,因此,王宏被感染的幾率是大約1/11,即0.09(9%)。
實際上,王宏犯了「基本比率謬誤」的錯誤,即忽略了「X病患者在人口中的基本比例為千分之一」這個事實。
談到基本比率謬誤,應先從概率論中著名的貝葉斯定理[1]說起。托馬斯·貝葉斯(Thomas Bayes ,1701-1761)是英國統計學家,貝葉斯定理是他對概率論和統計學作出的最大貢獻,是當今人工智慧中常用的機器學習之基礎框架,它的思想之深刻遠出一般人的認知,也許貝葉斯自己生前對此也認識不足。值得一提的是,如此重要的成果卻並未在他生前發表,而是在他死後的1763年才由他的朋友發表。本篇將對貝葉斯定理稍作介紹,我們在本系列的後幾篇,將討論貝葉斯學派以及貝葉斯理論在人工智慧中的應用。
粗略地說,貝葉斯定理涉及到兩個隨機變數A和B的相互影響,專業注釋為:利用B帶來的新信息,應如何修改B不存在時A的「先驗概率」P(A),從而得到B存在時的「條件概率」P(A|B)。或者類似地,也可以將A、B反過來敘述,即如何從B的「先驗概率」P(B),得到B的「條件概率」P(B|A)。正反兩種敘述方式分別對應於下圖中的實線和虛線。
通過前述王宏的經歷我們就能很好的理解這個公式:隨機變數A表示「王宏感染X病」;隨機變數B表示「王宏的檢查結果」。先驗概率P(A)指的是王宏沒有檢查結果時得X病的概率(即X病在公眾的基本概率0.1%),而條件概率(或後驗概率)P(A|B)指的是王宏「檢查結果為陽性」的條件下得X病的概率(9%)。也就是說,王宏的檢查結果將先驗概率P(A)( 0.1%)修正成為9%。
貝葉斯定理是十八世紀的產物,卻在二十世紀七十年代遇到了挑戰,該挑戰來自於卡尼曼和特維爾斯基提出的「基礎概率謬誤」(Base Rate Fallacy)。丹尼爾·卡尼曼(Daniel Kahneman,1934-)是以色列裔美國心理學家,2002年諾貝爾經濟學獎得主。基礎概率謬誤並不是否定貝葉斯定理,而是探討一個使人困惑的問題:為什麼人的直覺經常與貝葉斯公式計算的結果相悖?如同剛才的例子所示,人們在使用直覺的時候經常會忽略基礎概率。卡尼曼等在他的文章 《思考,快與慢》 (<Thinking, Fast and Slow>)中舉了一個計程車的例子來啟發人們思考這個影響人們「決策」的原因:
某城市有兩種顏色的計程車:藍和綠(比率為15:85)。一輛計程車夜間肇事後逃逸,一位目擊者認定肇事的計程車是藍色的。然而,他「目擊的可信度」如何呢?公安人員經過在相同環境下對該目擊者進行「藍綠」測試得出結論:正確識別率為80%,20%的情況不正確。也許有讀者立刻就得出了結論:肇事車輛是藍色的概率應該是80%。如果你作此回答,你便是犯了與前文提到的王宏同樣的錯誤,忽略了先驗概率,沒有考慮在這個城市中「藍綠」車的基本比例。
那麼,肇事車輛是藍色的(條件)概率應為多少?貝葉斯公式能給出正確的答案。首先我們必須考慮藍綠計程車的基本比例(15: 85)。也就是說,在沒有目擊證人的情況下,肇事車輛是藍色的概率只有15%,即「A=藍車肇事」的先驗概率P(A)=15%。現在,一位目擊者的出現改變了事件A出現的概率。目擊者看到車是「藍」色的。不過,他的目擊能力也要打折扣,只有80%的準確率,即也是一個隨機事件(記為B)。
我們的目的是要得出在有目擊證人「看到藍車」的條件下肇事車輛「真正是藍色」的概率,即條件概率P(A|B)。後者應該大於先驗概率的15%,因為目擊者看到「藍車」。如何修正先驗概率?需要計算P(B|A)和P(B)。
因為A=車為藍色、B=目擊藍色,所以P(B|A)是在「車為藍色」的條件下「目擊藍色」的概率,即P(B|A) =80%。最後還要算總概率P(B),它的計算麻煩一點。P(B)指的是「目擊證人看到一輛車為藍色的概率」,等於兩種情況的概率相加:一種是車為藍,辨認也正確;另一種是車為綠,錯看成藍。所以:
P(B) = 15%×80% + 85%×20% = 29%
從貝葉斯公式:
可以算出在有目擊證人情況下肇事車輛是藍色的幾率=41%,同時也可求得肇事車輛是綠車的概率為59%。被修正後的「肇事車輛為藍色」的條件概率41%大於先驗概率15%很多,但是仍然小於肇事車為綠的概率0.59。
幾何概型和貝特朗悖論[2]
拋硬幣、擲骰子之類遊戲中涉及的概率,是離散的,拋丟結果的數目有限(硬幣僅有兩種結果,骰子為6種)。如果硬幣或骰子是對稱的,每個基本結果發生的概率相等。這種隨機事件被稱為古典概型。數學家們將古典概型推廣到某些幾何問題中,使得隨機變數的結果變成了連續的、結果數目無限多的概型,這種隨機事件被稱之為「幾何概型」。古典概型向幾何概型的推廣,類似於有限多個整數向「實數域」的推廣。了解幾何概型很重要,因為與之相關的「測度」 概念(長度、面積等),是現代概率論的基礎。
布豐投針問題,是第一個被研究的幾何概型。
?圖1:布封(Buffon)投針問題十八世紀的法國,有一個著名的博物學家:喬治·布豐伯爵(George Buffon,1707-1788)。他研究過不同地區相似環境中的各種生物族群,也研究過人和猿的相似之處,以及兩者來自同一個祖先的可能性,他的作品對現代生態學影響深遠,他的思想對達爾文創建進化論影響很大。
難得的是,布豐同時也是一位數學家,是最早將微積分引入概率論的人之一。他提出的布豐投針問題(圖1)是這樣問的:
用一根長度為L的針,隨機地投向相隔為D的平行線(L < D),針壓到線的概率是多少?
布豐投針問題中,求的也是概率,但這時投擲的不是硬幣或骰子,而是一根針。硬幣投下去只有「正反」兩種基本結果,每種概率1/2。骰子有6種結果,每一個面出現的概率為1/6。而布豐投針卻不同,按照圖1a所示的數學模型,投針投下之後的狀態可以用兩個隨機變數來描述,針的中點的位置x,以及針與水平方向所成的角度θ。x在-D/2到D/2之間變化,θ在0到2π間變化。因為x和θ的變化是連續的,所以其結果有無限多。古典概率中的求和在幾何概率中用積分代替,使用積分的方法不難求出布豐探針壓線的幾率為2L/(Dπ)。
因為布豐投針中的概率是對於x和θ的2微積分,所以概率的計算可以簡化為如圖1b所示的幾何圖形的面積計算,即所求概率等於圖1b中陰影面積與矩形面積之比。
布豐投針的結果提供了一個用概率實驗來確定圓周率π的方法(蒙特·卡羅法)。因為π=2L/(DP),當針投擲的次數足夠大,得到的概率P足夠精確時,便可以用以上公式計算π。這種方法的確有些出乎意料之外,用一根針丟來丟去也能丟出一個數學常數來!
從上面的介紹可知,幾何概型將古典概型中的離散隨機變數擴展到了連續隨機變數,求和變成積分,變數的樣本空間也從離散和有限擴展到了無窮。幾何概型和古典概型都使用「等概率假設」。然而,只要涉及到無窮大,便經常會產生一些怪異的結果。布豐投針問題中條件清楚,因此並沒有引起什麼悖論。而著名的幾何概型悖論——法國學者貝特朗(Joseph Bertrand,1822 –1900)於1889年提出的貝特朗悖論則不同。
貝特朗提出的問題是:在圓內任作一弦,求其長度超過圓內接正三角形邊長L的概率。奇怪之處在於,這個問題可以有三種不同的解答,結果完全不同但聽起來卻似乎都有道理。
?圖2:貝特朗悖論求解貝特朗問題中的概率,不需要用微積分,只需要利用幾何圖形的對稱性便能得到答案。與計算布封投針問題中概率的情況類似(圖1b),一般來說,可以將幾何概率的計算變換成幾何圖形的計算,即計算弧長或線段的長度,或者計算面積、體積,從如下計算貝特朗問題的3種不同方法,讀者可以更為深入地理解這點。
方法1:首先假設弦的一端固定在圓上某一點(比如A),如圖2a,弦的另一端在圓周上移動。移動端點落在弧BC上的弦,長度均超過圓內接正三角形的邊長L,而其餘弦的長度都小於L。由於對稱性,BC弧長占整個圓周的1/3,所以可得弦長大於L的概率為BC弧長與圓周長之比,即P=1/3。
方法2:首先選擇圓的一個直徑,比如圖2b中的AD。過該直徑上的任何點作直徑的垂線,與圓相交形成弦。從圖2b中可以看出:當直徑上動點的位置在B和C之間時,所得弦的弦長大於正三角形的邊長L,動點位置在BC之外的弦長小於L。因為線段BC的長度是整個直徑的一半,所以由此可得弦長大於L的概率為P=1/2。
方法3:如圖2c所示,作一個半徑只有圓的半徑的二分之一的同心圓(稱為小圓),稱原來的圓為「大圓」。考慮大圓上任意弦的中點的位置可知:當中點位於小圓內部時,弦長符合大於L的要求。因為小圓的面積是大圓面積的1/4。所以,概率也為P=1/4。
以上3種方法聽起來都「振振有辭」,但得出的結果卻不盡相同,如何解釋呢?
按照傳統解釋,關鍵在於「隨機」選擇弦的方法。方法不同,「等概率假設」 的應用區間也不一樣。方法1假定端點在圓周上均勻分布(即等概率);方法2假定弦的中點在直徑上均勻分布;方法3則假定弦的中點在圓內均勻分布。圖3給出了3種解法中弦的中點在圓內的分布情形。圖4則是用3種方法直接畫出弦,以比較弦在圓內的分布情形。也可以說,貝特朗悖論不是悖論,只是問題中沒有明確規定隨機選擇的方法,方法一旦選定,問題自然也就有了確定的答案。
?圖3:弦的「中點」在3種方法中的分布情況
?圖4:「弦」在3種方法中的分布情況概率論中的悖論還有很多,基於經驗的直覺判斷很多時候往往並不靠譜。下一篇將介紹的本福特定律,也是一條初看起來有些奇怪、不合直覺的定律,不過這條定律用處卻很大,甚至還能幫助偵破「財務造假」,且聽下回分解。
參考資料:
【1】維基百科-貝葉斯定理:https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86
【2】wikipidia:Bertrand_paradox_(probability)
Bertrand paradox (probability)
製版編輯:呂浩然 |
本頁刊發內容未經書面許可禁止轉載及使用
公眾號、報刊等轉載請聯繫授權
copyright@zhishifenzi.com
知識分子為更好的智趣生活ID:The-Intellectual投稿:zizaifenxiang@163.com
推薦閱讀:
※Gossip
※泛函分析觀點下的隨機積分 (完):隨機控制收斂與It?公式
※圓環內隨機遊走 遍歷所有節點需要的步數的期望?
※布朗運動首次擊中a的時刻的期望?
TAG:概率论 |