如何理解馬可夫鏈？

01-11

在概率論上講，馬克夫鏈應該放在哪部分？
有什麼代表性的例子和應用？
我們老師講了一個馬可夫鏈的例子，說一副撲克牌，隨機排成一列，在前邊翻開一張，翻到幾就向下數幾張（JQK算作1）那麼最後很大概率會聚集在一張牌上... 能否解釋一下這個例子的含義？

概率論上講，馬爾科夫鏈屬於隨機過程。

最重要的例子，搜索引擎的PageRank演算法。

比如題主在瀏覽網頁，對於每張網頁的諸多鏈接，題主隨機(按一定概率分布)點網頁上的一個鏈接跳轉到下一張網頁。

題主重複這個過程，我們可以觀察到以下性質：

(1) 題主的下一張網頁只和當前的網頁有關，和之前的網頁都無關(馬爾科夫條件)

(2) 鏈接多網頁會花更多時間瀏覽。如果點的每個鏈接概率不同，概率高的網頁也會花更多時間瀏覽。

(3) 很久很久以後，題主瀏覽哪張網頁就和題主瀏覽的第一張網頁無關了(極限分布)

明天的世界只與今天有關，而與昨天無關

根據@shimin xu 的建議修改

昨天看到馬爾科夫失戀了來著，喝了八瓶伏特加，沒想到今天在酒吧又看到他灌下一大杯.

「沒事，今天我才喝了一瓶」

今天喝醉沒有和昨天喝了多少無關，只和今天喝了多少有關係

布朗運動

男朋友的壞習慣都特么全是前任搞出來的，跟前前任和他媽還有他小時候的經歷沒有一毛錢關係。

很不幸接觸過Markov Chains，其實講得就是一個隨機過程中用統計的眼光來預測未來。

幾乎所有資料里都會舉個天氣預報的栗子：

某地，在某段時間內，為了簡化，不是雨就是晴
在雨天后的第二天下雨的概率是P1
在雨天后的第二天晴天的概率是P2
在晴天后的第二天下雨的概率是P3

在晴天后的第二天晴天的概率是P4
注意P1+P2=1, P3+P4=1

那麼，現在告訴你昨天下雨了，請問明天天晴的概率是多少？用馬爾科夫模型來計算的話，就要先算出今天下雨和不下雨的概率分別是多少，再進一步計算明天的。

我想你老師給的例子可能是這個意思：

在這副牌上循環跳躍，看到3就向下跳3張牌，看到5就跳5張。這樣的跳躍鏈中，每個觀測值對下一個觀測值是起決定作用的（狀態轉移的概率為1，今天下雨明天一定不下雨，今天不下雨明天一定下）。這樣當你把牌組繼續循環一遍之後（獲得了狀態轉移的統計結果），你就發現你可以準確預測下一張牌了。

應用的話，這東西看著有點幼稚（但實際作用很大）。再進一步是「隱馬爾科夫模型」，那裡面狀態不能直接得到，而是有個觀測值，比如雨天你不知道是雨天，你只知道路上有點濕，而且道路變濕的概率也不是1. 這種模型下該如何計算預測值的概率，可能需要更多閱讀了吧。

學習之餘，逛知乎改善心情。偶然看到Lz題目進來一看，卻沒人回答。好吧，捨身為炮灰，以引他山之玉。

馬爾科夫鏈是馬爾科夫過程的一部分。具體可以參看維基的定義。

馬爾可夫鏈

按照時間的連續性，馬爾科夫過程可分為 Discrete-time 和 Continuous-time兩種. LZ給的例子似乎說明了你老師講的是離散時間的，所以么，就說說Discrete-time Markov Chain，也就是通常所說的馬爾科夫鏈。

At first, 為避免歧義，暫稱Discrete-time Markov Chain(離散時間馬爾科夫鏈)為MC.

Def: A Markov Chain is a sequence of Random Variables { $x_{n}$ } such that

$P(X_{n+1}=x_{n+1} |X_{1}=x_{1}, ....., X_{n} =x_{n} )=P(X_{n+1}=x_{n+1} |X_{n} =x_{n} )$

換句話，現在 t 的狀態只與過去 t-1 的狀態有關，或者未來的狀態 t+1 只與現在 t 的狀態有關。

好，現在開始回答。

1. 從概率論上講，馬克夫鏈應該放在哪部分？

題主難道想問應該放在書裡面的哪個位置？現有的書基本上都是將MC放在隨機過程部分毫無問題，或者有的入門書籍直接放在Conditional Probability之後作介紹。我那時學MC是在概率測度和Convergence之後。

2. 有什麼代表性的例子和應用？

MC的魅力在於：這貨簡直是個地圖炮，到哪都能看到這貨。MC的應用更多的是聚集在MC的性質上。比如周期性，可還原性等等。應用聚集在市場預測，金融模型，氣象，生物。。。。反正是哪都有。我甚至看到過把妹的。

3. 你老師只是想讓你理解MC的意義(粗體那段話)。但是並不確切。樓主自己有牌可以試一下。

The future is decided by now, and it"s nothing to do with the past.Markov鏈的重要性質馬爾可夫性，套用我們隨機過程老師的解釋是：忘掉過去，把握現在，展望未來！

應該放在貝葉斯網路後面，馬科夫模型本質就是特殊的貝葉斯網路，每個結點形成單一方向的鏈式網路

應用太多了，語音，基因imputation等

沒太看懂你們老師的例子，我理解應該就是構造馬可夫鏈來推測下一張牌的位置

1. 馬可夫鏈：時間和狀態都是離散的；

2. 馬可夫性：將來只依賴現在而不依賴過去；

3. 應用：語音識別，基因預測，網頁PR值。

在給定當前知識和概率信息的情況下，過去的狀態對於預測將來是無關的，賭徒輸光和排隊問題就是典型的馬爾可夫問題，考慮顧客到達服務台排隊等候服務的情況，馬爾可夫過程可以預測下個時間周期內到達的顧客數，而賭徒輸光問題類似於股票的買賣過程。

明天的世界只和今天有關，和昨天無關了