眼睛與語言學

這一篇文章我們來說一說眼睛和語言學之間的關係。

我們通過我們的感官來了解這個世界,視覺帶給了我們許多對這個世界的認知,不光是我們直接看到的景象,也包括我們在閱讀中學到的知識。我們在閱讀不同的句子時,目光的不同移動,就可以讓語言學家們了解到我們理解句子的方式,而想要完成這一觀察,語言學家們需要做的就是仔細跟蹤人的目光移動(eye tracking)。

那麼如何能夠完成這樣的跟蹤呢?這個過程聽起來很容易,但是語言學家們需要確保他們所觀察到的移動是來自於眼球本身的,而不是來自頭部的。最早期的方法,是讓觀察的對象用嘴咬住一個鐵塊來固定頭部(如圖所示),然後來觀察眼球的移動。

截圖來自視頻what can our eyes tell us about language?eye tracking

但是現在的科技已經有了更令人舒適的方式幫助語言學家們追蹤觀察對象的眼球移動了,語言學家們會將攝像機固定在頭部,然後直接對著眼球進行拍攝。除了這種方式,在Clara Cohen的實驗中,他將一種無害且隱形的光照入觀察對象的眼睛,然後再通過特殊演算法計算光的反射,從而得到觀察對象眼球的移動。

clara cohen實驗室中eye tracking畫面

在閱讀時,我們自以為我們的眼睛是在平滑連續的從左向右掃視的,其實並不是這樣的,我們的眼睛是在不停的進行短而快的眼跳,這種運動被稱為saccade。舉個例子來說明,如果我們向右看,然後快速的在頭不移動的情況下把目光移向左邊,我們並不會注意到我們在兩個點之間所看到的東西。閱讀時,我們的目光不斷的從一個詞或幾個詞身上向後面的詞運動,我們並不會意識到這些詞語詞之間的內容。在英語中,通常我們每一次閱讀的字母數量在7-8個左右,這些字母既可以出現在一個詞中,比如hello,也可以是兩個詞的組合,比如my cat。

saccade

我們在閱讀的過程中,眼神會不停的徘徊和跳動,而這樣的動作越多,語言學家們認為就可以證明句子的難度更高。一個實驗的例子是,當我們在閱讀含有代詞的句子時,我們的眼神移動就可以說明句子的不同。比如第一個句子可能是這樣的:Pearl said yesterday that she would help out with sword practice. 我們會看到she這個代詞,但是我們可以很輕鬆的明白這裡的代詞指代的就是前面的Pearl。但是在第二個句子中:Japer still thought she could escape the from the ocean,當我們看到代詞she時,我們一定會去尋找她的指代,我們可能會去看句子的主語jasper,然後再回到代詞去思考she所指的是不是jasper,這些猶豫和思考都會是我們的眼睛不斷移動並被記錄下來。在這種情況下,語言學家們就會認為第一個句子比第二個句子更容易被人理解分析。

閱讀時眼睛的移動記錄

另外我們還可以通過追蹤眼睛的動作來判斷人類理解句子的方式和速度。比如說我們讓屏幕上出現四張不同的圖片,左上角是一隻青蛙(a frog),左下角是一個餐巾(a napkin),右下角是一隻青蛙坐在餐巾上(a frog on the napkin),而右上角是一個盒子(a box),然後說不同句子來跟蹤觀察對象的目光移動。同一個句子,也會有不同的理解:Put the frog on the napkin into the box(把餐巾上的青蛙放到盒子里)。如果我們的目光從右下角餐巾上的青蛙開始,那麼,非常簡單,我們下一步只需要看到右上角的盒子就結束了。但是如果我們的是從左上角的青蛙開始的,那麼我們的下一步就是看向左下角的餐巾,將青蛙放到餐巾上,然後再一次進行到後兩張圖片。第一種情況發生在聽到put the frog on the napkin之後才行動的觀察者身上,但是第二類觀察者在還沒有聽到全部信息前就開始了眼睛的移動,所以就出現了兩種不同的結果。

第二個實驗是clara cohen進行的,他的實驗主要是檢測人們對名詞複數和單數的反應。他的四張圖片分別是一隻海豹(a seal),一個麵包,一隻兔子和一群海豹,然後觀察者們會聽到這樣一個句子:the man looked at the seals。根據觀察者從聽到句子到看向一群海豹的圖片的時間長短中,cohen可以判斷觀察者們理解這個句子所花的時間。這個反應時間可以被儀器中的光準確記錄,但是在這些科技出現之前,我們判斷人們理解句子速度的方式是非常不精確的。比如語言學家們會向觀察者提出這樣的問題:這句話的最後一個名詞是單數還是複數,或是提出一些問題讓觀察者們按鍵回答yes還是no,通過這些反應時間的長短來判斷句子的難易程度,但是這樣的方式並不精確。

以上的實驗都是針對成人,那麼對於那些對語言並不熟悉的孩子來說,這些實驗的結果就可以使語言學家們逐漸明白我們理解句子的方式和我們聽到句子後的反應方式。

那麼這些實驗結果能夠有什麼實際應用呢?在了解了閱讀時我們理解句子的方式後,患有失讀症(dyslexia)的病人可以得到更多的幫助。另外,語音識別系統,比如siri,的語言識別能力也可以得到提高。當然,語言的教學方式也會變得越來越高效,越來越有助於學習者的理解。

這一篇文章的內容就是這樣,很久沒有更新了,感謝閱讀。

推薦閱讀:

【體育與語言3】外語人名音譯轉寫的規範化討論——輔音篇
【體育與語言3】外語人名音譯轉寫的規範化討論——總論

TAG:語言學 | 認知語言學 |