人工智慧學習筆記（三）：N元字元模型與馬爾科夫鏈

N元字元模型和馬爾科夫鏈：NLP的基礎

首先我們給出一個數學定義：Markov model。這個概念是數學裡一個大派，隨機過程里最基本的定義之一。但是我們在此只給出最基本的定義。

馬爾可夫鏈（英語：Markov chain），又稱離散時間馬爾可夫鏈（discrete-time Markov chain，縮寫為DTMC[1]），因俄國數學家安德烈·馬爾可夫（俄語：Андрей Андреевич Марков）得名，為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備「無記憶」的性質：下一狀態的概率分布只能由當前狀態決定，在時間序列中它前面的事件均與之無關。如下表達式：

固然通常情況下，Markov chain中某事件只和這一事件的前一個事件相關。但是我們從數學的角度，完全可以把，這個模型去做extend。也就是我們認定，某一個事件，與這一事件前面的若干個事件有關。因此，我們可以對Markov model做一調整：

比如，我們假設，某個事件，與這個事件之前的兩個事件有關：

而如上模型，在自然語言處理中的應用，便是自然語言處理里最基本的一個模型：n元字元模型了。

譬如，我們分別計算某個片語在其他兩個片語之後出現的概率（這個通過大量的資料庫統計並不難）。做出大量這樣的概率並以此做分析，我們就可以用這種模型做自然語言處理了。