人工智慧學習筆記(三):N元字元模型與馬爾科夫鏈

N元字元模型和馬爾科夫鏈:NLP的基礎

首先我們給出一個數學定義:Markov model。這個概念是數學裡一個大派,隨機過程里最基本的定義之一。但是我們在此只給出最基本的定義。

馬爾可夫鏈(英語:Markov chain),又稱離散時間馬爾可夫鏈(discrete-time Markov chain,縮寫為DTMC[1]),因俄國數學家安德烈·馬爾可夫(俄語:Андрей Андреевич Марков)得名,為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備「無記憶」的性質:下一狀態的概率分布只能由當前狀態決定,在時間序列中它前面的事件均與之無關。如下表達式:

固然通常情況下,Markov chain中某事件只和這一事件的前一個事件相關。但是我們從數學的角度,完全可以把,這個模型去做extend。也就是我們認定,某一個事件,與這一事件前面的若干個事件有關。因此,我們可以對Markov model做一調整:

比如,我們假設,某個事件,與這個事件之前的兩個事件有關:

而如上模型,在自然語言處理中的應用,便是自然語言處理里最基本的一個模型:n元字元模型了。

譬如,我們分別計算某個片語在其他兩個片語之後出現的概率(這個通過大量的資料庫統計並不難)。做出大量這樣的概率並以此做分析,我們就可以用這種模型做自然語言處理了。


推薦閱讀:

第一章:機器學習在能源互聯網中的應用綜述(一)
機器學習筆記003 | 梯度下降演算法
準備應對 AI 的惡意使用
Facebook如何利用機器演算法人工智慧教計算機閱讀
機器學習筆記

TAG:機器學習 | 自然語言處理 |