Teaser#1

專欄裡面似乎主要都是段子——畢竟真正的乾貨都在 Jaynes 的遺著里。利用概率論和統計力學到底能做些什麼呢?現在插播若干廣告。

利用概率方法和可視化工具,可以處理自然語言中的互信息(mutual information)。

數據樣本(關鍵字為種族):

圖可視化:

三元組可視化(關鍵字為種族):

高階可視化(關鍵字為種族):

數據來源(數據比較老,未更新)

第九區 短評

這是一個從概率方法出發的可視化分析工具,它能夠處理任意的符號向量流,構造二階、三階以及更高階的符號關係。上面的例子是基於自然語言的,但是下面的例子則是根據某個論壇的討論進行的,向量中的符號是用戶的 handle 而非辭彙(最右邊的 handle 是我使用的,而中間的超級節點是管理員)。

下圖很清晰地展示了活躍用戶之間的互動關係:

數據來源

m.newsmth.net/board/Gam

這個分析工具是在了解 Jaynes 的概率論之前利用直覺山寨出來的,但是我不理解它為何能工作,也沒辦法優化它。我無法用頻率主義的工具和所謂的隨機變數來解釋,最終有人讓我去讀 Jaynes 的遺著。Bayesian 可以從資訊理論的角度來解釋這一切,並且讓我更精確地定義信號和雜訊。我很想解釋其中的原理,但是這樣就會讓這個專欄變成民科專欄。我僅僅想傳達一個信息:概率計算是一種應用範圍極廣的數學工具,它可以解決很多實際的問題,也可以很花哨。


推薦閱讀:

鞅與停時與賭徒必勝策略與生男生女(下)
FDL#2
數學中的幾個概率啟發式「證明」
Incommensurable Possibilities of Mathematics
似是而非的答案:概率論悖論 | 張天蓉專欄(二)

TAG:概率论 | 数据可视化 |