Teaser#1
01-28
專欄裡面似乎主要都是段子——畢竟真正的乾貨都在 Jaynes 的遺著里。利用概率論和統計力學到底能做些什麼呢?現在插播若干廣告。
利用概率方法和可視化工具,可以處理自然語言中的互信息(mutual information)。
數據樣本(關鍵字為種族):
圖可視化:
三元組可視化(關鍵字為種族):
高階可視化(關鍵字為種族):
數據來源(數據比較老,未更新)
第九區 短評
這是一個從概率方法出發的可視化分析工具,它能夠處理任意的符號向量流,構造二階、三階以及更高階的符號關係。上面的例子是基於自然語言的,但是下面的例子則是根據某個論壇的討論進行的,向量中的符號是用戶的 handle 而非辭彙(最右邊的 handle 是我使用的,而中間的超級節點是管理員)。
下圖很清晰地展示了活躍用戶之間的互動關係:
數據來源
http://m.newsmth.net/board/GameIndustry
這個分析工具是在了解 Jaynes 的概率論之前利用直覺山寨出來的,但是我不理解它為何能工作,也沒辦法優化它。我無法用頻率主義的工具和所謂的隨機變數來解釋,最終有人讓我去讀 Jaynes 的遺著。Bayesian 可以從資訊理論的角度來解釋這一切,並且讓我更精確地定義信號和雜訊。我很想解釋其中的原理,但是這樣就會讓這個專欄變成民科專欄。我僅僅想傳達一個信息:概率計算是一種應用範圍極廣的數學工具,它可以解決很多實際的問題,也可以很花哨。
推薦閱讀:
※鞅與停時與賭徒必勝策略與生男生女(下)
※FDL#2
※數學中的幾個概率啟發式「證明」
※Incommensurable Possibilities of Mathematics
※似是而非的答案:概率論悖論 | 張天蓉專欄(二)