鞅過程與馬爾科夫過程是什麼關係？

11-30

離散鞅連續鞅與馬爾科夫關係順便再聯繫下維納過程布朗運動與馬爾科夫關係到底是哪個包含哪個

看到這個問題太親切了,去年這個時候在準備面試，這個問題也讓我困惑了好一陣子.數學定義之前的答案都回答過了,我從直觀上說說我的想法吧.

Martingale的詞本意是指馬車上馬夫控制馬前進的韁繩（如果我記得沒錯的話），所以從詞源來看刻畫了一種過程前進（未來）與現在出發點關係的含義。具體來說韁繩的作用是使得馬車的前進方向與現在所沖的方向一致，所以在概率上來解釋就是未來發生的所有路徑可能性的期望值與現在的出發點一致。

從這個意義上來說Matingale的核心是說明了一個過程在向前演化的過程中的穩定性性質。但它並沒有說明這個過程是如何到達這一時間點的（是否由上一個時間點所在的位置決定，matingale並沒有說明）。再用馬車的例子來說，Martingale告訴了你馬車在未來是怎麼向前走的，中間會有左右的波動（比如馬、車夫走神了，路上有坑馬要繞開，etc.），但整體來說馬是沿著一條直線向前走的。

而馬爾科夫過程的核心在於點明了過程的演化是無記憶性的。還拿馬車來舉栗子，假設車夫喝醉了，他沒有意識並在一個很大的廣場，馬車下一刻前進的方向並不需要是一條直線（經過車夫與馬的直線，這種情況下韁繩是綳直的，是martingale），或者說韁繩由於車夫沒繃緊是松垮的，這種情況下馬車在下一刻可以去任何一個方向，整體上來說前進方向也不必須有什麼穩定性規律可循，但整個過程唯一的共性是馬邁出前腿的時候，能夠到達的所有可能範圍，是由它的後腿（你現在所在的位置）決定的（但馬可能扭一扭屁股，身子彎曲一下，所以不必須走直線，不必需走直線，不必需走直線！），而並沒有由上一步馬所在的位置決定，這也就是所謂的無記憶性。

所以從這兩個角度來理解，兩個名詞
有共性：都從一個過程的全生命角度描畫了一個過程的演進性質，

有重疊：當還是馬車例子的時候,martingale也是一個markov（因為雖然走直線，但下一刻的位置還是只由現在決定，只是馬身子不能扭曲，不能改變方向），這個例子在概率上最熟悉的模型就是brownian motion了；而反過來，馬車未來位置由現在決定，又走直線，所以此時markov process 也是一個martingale （例子還是brownian motion）；

但更重要的是兩個過程本質上不是在講一回事：比如還是馬車車夫，喝醉了但走在一個三維空間，這時候它是一個markov process,但是由於方向不確定，此時已經不是martingale而變成了一個local martingale；而反過來，假設有一個錯幀宇宙，空間共享但時間差一天，這時候同一個馬車走在不同的宇宙里（但行走軌跡獨立），韁繩拉直，此時兩架馬車都走之前，兩架馬車組成的系統是一個martingale，但是由於下一時刻前進的方向與宇宙1中的此時有關，也與宇宙2中的昨天有關，所以兩架馬車組成的系統就不再是一個markov了。

總結一下，brownian motion (wiener process)既是markov process 又是 martingale; 而markov process 與martingale是相交而非包含與反包含關係。只能說你中有我我中有你，但你不屬於我我也不屬於你...

總而言之：鞅和馬爾可夫過程沒有包含的關係。因為鞅代表的是公平遊戲，而馬爾可夫過程側重過程無記憶性。兩者沒有內在聯繫。

註：本文將試圖從直觀上解釋，因此會略去一些過於嚴謹而不影響直觀理解的條件。

定義：

鞅（martingale）：如果隨機過程X(t)滿足對任意的s&，則稱為鞅。

直觀上而言，已知鞅過程在某一時刻的值時，其任意之後時刻的條件期望為這一時刻的值。從賭徒的角度來看，它是一個公平的遊戲。

舉例而言，如果我們在玩搖骰子比大小的遊戲，每一輪輸家要給贏家一元錢。假設遊戲公平，在第十局結束後，你已經發現自己贏了4元，在十一局時，由於遊戲的公平性，你有一半幾率贏一元，也有一半幾率輸一元。此時你在第十一局結束後收益的條件期望為4元。甚至，在第二十局時你收益的期望依然是4元。從第十局以後，無論局數為多少，你的條件期望都會等於在第十局的收益。此時你的收益就是一個鞅過程。

馬爾可夫過程（Markov Process）：如果隨機過程X(n)滿足對任意時刻，給過去全部經歷的路程，其分布與給最近一點的位置相同，即 $mathbb{P}(X_n=x_n|X_{n-1}=x_{n-1},X_{n-2}=x_{n-2},dots,X_{1}=x_{1})=mathbb{P}(X_n=x_n|X_{n-1}=x_{n-1})$ 。

直觀上而言，如果我要研究一個馬爾可夫過程未來的發展，你給我這個過程經歷的路程與給我你最後觀察到的點的位置是等價的，即擁有路程並不能帶來更多的信息。這或許有點難以理解，但如果你假設股票的價格是馬爾可夫過程，那麼你做決策僅僅在乎此時的股票價格而不會在乎股票整體的走勢。這說明，馬爾可夫過程側重於過程的無記憶性。

舉例而言，小紅家住在10樓，她可以坐電梯或者走樓梯下樓。但是樓梯口某個位置特別暗，有可能會在那栽跟頭。如果我們假設這是個馬爾可夫過程，當我們觀察到小紅今天走樓梯下樓時，我們就會說小紅今天有幾率p在那邊摔倒，此時摔倒的幾率為一個常數。轉而言之，我們並不在乎小紅走過多少次樓梯口，我們假設她永遠不會從上次的摔倒中學習。也就是說，小紅在樓梯口摔了一次與摔了十次後，只要觀察到她走樓梯，她就有相同的機會在同樣的地方栽跟頭。

對於布朗運動而言，其既是鞅又是馬爾可夫過程。

由於布朗運動的增量獨立且均值為0的特性，（即 $W(t)-W(s)$ 與 $W(s)$ 獨立且均值為0）。我們很容易證明布朗運動即是鞅又是馬爾可夫過程。但對於一般的情形，鞅與馬爾可夫過程並沒有更多相關性。究其原因，是因為兩者的側重點不同，鞅側重公平性，而馬爾可夫過程側重無記憶性。這兩者並無聯繫。

兩者無包含關係舉例。

是馬爾可夫卻不是鞅的過程：帶飄移的布朗運動： $X(t)=mu t+W(t)$ 。此時無記憶性並不違背，因為 $mu t$ 與 $W(t)$ 都具有獨立增量，因此知道路徑並不會比知道最近的點要優越。但是這個過程卻不是鞅，因為它並不公平。由於飄移項的引入，其均值會一直增大，在賭博中，如果你的期望收益一直變大，那這個遊戲一定不會是公平的。因此，這個過程是馬爾可夫卻不是鞅。

是鞅卻不是馬爾可夫的過程：過程相關的Ito積分： $dX(t)=int_{0}^tX_sdsdW(t)$ 。此時 $X(t)$ 在t時刻的增量會是與過去所有路徑 $X(s)$ 的積分相關的隨機變數。此時僅僅知道最近一點的觀察值不足以給出很好的預測，我們需要知道全部的路程。但這個過程卻會是鞅，因為每一個增量都可以表示成路徑和布朗運動增量的和，而布朗運動均值為零，故其增量會為零，不違背鞅的性質。因此，這個過程是鞅而不是馬爾可夫。

1. 維納過程和布朗運動是一回事。

2. 所有具Markov property的隨機過程都可以成為Markov process. Markov property就是所謂的有限記憶性(finite memory)。對於離散過程也就是
$P(X_n=x_n|X_{n-1}=x_{n-1},...,X_{1}=x_{1})=P(X_n=x_n|X_{n-1}=x_{n-1})$

3 維納過程的一個性質就是
$W_t-W_s~N(0,t-s), 0leq s<t$
所以顯然它具有有限記憶性，也就是Markov process。

4 鞅過程是可能具有infinite memory的。假設如下過程
$X_{n+1}=X_0epsilon _{n+1}+X_n$ 其中 $epsilon _n$ (n&>=0)是mean為0的iid
$E(X_{n+1}|X_0,...,X_n)=E(X_n+X_0epsilon _{n+1}|X_0,...,X_n)$
$=E(X_n|X_0,...,X_n)+E(X_0epsilon _{n+1}|X_0,...,X_n)$
$=X_n+0*X_0 =X_n$
以上說明 $X_{n+1}=X_0epsilon _{n+1}+X_n$ 是鞅過程，但顯然
$P[X_n+epsilon _{n+1}X_0|X_n] e P[X_n+epsilon _{n+1}X_0|X_0,...,X_n]$
所以鞅過程有可能不是Markov process

....第一次發現知乎居然可以編輯公式耶

感覺沒什麼關係，但是有一點聯繫：可以利用Harmonic function通過Markov chain來構造一個對應的Martingale。
設 $(X_n)$ 是一個Markov chain with transition matrix $P$ and state space $S$ 。設 $h(x)$ 是一個harmonic function，那麼 $h(X_n)$ 就是一個martingale with respect to $X_n$ 。證明很簡單：
根據harmonic function的定義： $h(x) = sum_{yin S} P(x, y)h(y)$ 。
設 $M_n = h(X_n)$ ， $A_v = { M_0 = m_0, X_0 = x_0, hdots, X_n = x_n }$ ,需要證明： $mathbb{E}[h(X_{n+1}) - h(X_{n}) | A_v] = 0$ 。
我們有：
$egin{align*} mathbb{E}[h(X_{n+1}) | A_v] = sum_{y in S}mathbb{P} (X_n, y)h(y) qquad ext{by markov property}\ = h(X_n) qquad ext{by the construction of $h(x)$ } end{align*}$
所以對於markov chain的一些計算，比如exit time, exit distribution, 我們可以通過構造適當的martingale來獲得。

兩者是有關係的。見Chung, Kai Lai, Walsh, John B的著作Markov Processes, Brownian Motion, and Time Symmetry第二章第一節Martingale Connection 有詳細敘述,主要是講Markov Processes的通過上調和函數變換後就是一個Martingale。馬氏過程通過變換成鞅，利用鞅方法，從而得到馬氏過程的有用結果。

這個問題我面試intern的時候喜歡問，定義你自己去查書。我給你兩個例子。

Is martingale but not Markov process:
S(n)= S(n-1) + X(n)
X(n) ~ 兩點分布(+a, -a, 0.5), a = 1 + |S(n-2)|

Is Markov process but not martingale:
S(n) = S(n-1) + X(n)
X(n) ~ 兩點分布(+1, -1, 0.55)

樓上lillian說得好好～補充一下，鞅過程不一定是馬爾可夫過程，馬爾可夫過程也不一定是鞅過程，他們描述的不是一種屬性。
但恰巧布朗運動即是鞅過程也是馬爾可夫過程。

這是今年上金融數學時候馮老師給的一個圖，Markov過程說的是歷史對於預測未來沒有作用，Martingale過程說的是這個過程沒有持續的向上或者向下的趨勢，也就是說這個過程在任何時刻的條件期望都是相等的。二者在定義上沒有任何的交集。
但是在具體的過程上，Brown運動既是Markov過程也是鞅過程，也就是上圖綠色圈兒和藍色圈兒重合的部分，這僅僅是個巧合，Brown運動滿足二者的定義，但二者之間並沒有什麼實質上的聯繫。更不是包含和被包含的關係。

沒有包含關係，但是可以從獨立增量過程來看：一個獨立增量過程如果期望有限並且定常，那麼它是一個鞅；如果它期望有限，那麼它是一個markov過程。

這兩個有什麼關係嗎？

維納過程和布朗運動是一樣的還記得初中時候的物理課不～分子做的就是無規則的布朗運動是隨機遊動的～

馬爾可夫過程的主要性質就是它只受上一個時期(t-1)狀態的影響與t-2, t-k無關