密碼學家百年來無法辨認,500年前古怪手稿的加密希伯來語被AI演算法破譯
大數據文摘作品
編譯:Niki、丁慧、龍牧雪
幾個世紀以來,伏尼契手稿(Voynich manuscript)一直是本人類無法理解的書,但現在我們終於可以讀懂它了——這要歸功於我們在手稿寫成的500年後發明的機器智能。
伏尼契手稿通常被稱為「世界上最神秘的書籍」,它是一份可追溯到15世紀初的中世紀文本。它由複雜、未知語言書寫的神秘文本組成,並附有奇怪的圖表和插圖,包括植物、裸體人像和天文符號。它甚至有摺疊頁面,非常漂亮。
然而,沒人知道手稿上面到底寫了什麼。這些文字的意義,被銘刻在古代的牛皮紙上,幾百年來一直沒有人能理解。
這份手稿一直被鍊金術士和皇帝所擁有,直到1912年,一位名叫Wilfrid Voynich的波蘭書商偶然發現了這份手稿,於是手稿便以Voynich的名字命名。
手稿有些頁面已經丟失,剩餘約240頁。1969年,手稿由Hans P. Kraus捐贈給耶魯大學Beinecke稀有書籍和手稿圖書館(即本文所有圖片來源)。
大量密碼學家和語言學家都試圖揭開手稿的秘密,包括第一次世界大戰和第二次世界大戰期間的美國和英國密碼破譯者,但其頁面中包含的晦澀難懂的代碼、植物、符號和沐浴中的女性的奇怪圖畫沒人能解釋得通。它已成為密碼學和語言學上的一個世界性難題。
手稿的意義和起源的奧秘激發了大眾的想像力,使手稿成為小說和猜測的主題。在過去的一百年中提出的許多假設都沒有得到驗證,這其中包括半隨機加密機制生成手稿;迴文構詞法;或是書面語中的母音被移除等等。有些理論甚至說這部手稿是一個精心製作的騙局。
現在,多虧了加拿大的計算機科學家,我們取得了新突破。
阿爾伯塔大學的研究人員使用人工智慧來解碼古代手稿的各個部分,使用一種稱為演算法解密的技術來揭示隱藏在這本奇怪書籍背後的潛在加密語言。
「伏尼契手稿是用一種未知語言編寫的,這是一種最具挑戰性的解密問題。」阿爾伯塔大學研究團隊在他們的論文中解釋說。
研究成果發表於2017年ACL大會
後台對話框內回復「手稿」即可下載
通過在《世界人權宣言》的380種不同譯文中測試演算法,並用AI尋找模式,識別一篇文章中的語言時,AI系統能夠達到97%的準確率。
接下來,他們將AI集中應用在伏尼契手稿上。此前,多數觀點認為手稿可能是用阿拉伯語寫成的。但是,AI否定了這一看法。
AI的結論是,手稿是用加密的希伯來語寫成的。
如何解密?
研究員們採用了先前研究中所提出的一個假設——手稿是由字母表所創建,也就是說,文本中的單詞字母按照字母順序表的先後順序重新排列(例如,變位詞GIZMODO被讀成DGIMOOZ)。在已經知道這些文字來源於希伯來文的前提下,研究員們設計了一種能夠通過迴文構詞法還原希伯來語單詞的演算法。
「結果顯示,超過80%的單詞都可以在希伯來文字典中查到,但我們還不知道這些單片語合在一起是否真的代表了某種含義。」計算機語言學家Kondrak說。
由於沒有找到任何希伯來學者可以幫助驗證他們的發現,研究人員最終使用谷歌翻譯來把手稿譯成英語。他們承認此過程中涉及一些猜測,但總體上手稿中的圖片似乎與AI解讀出的文本相匹配。
在手稿的「草藥」章節的開頭部分,包含幾種植物的圖畫,出現了許多植物學相關術語,包括農民、光線、空氣和火焰。
巧合?也許不是。
這本世界上最神秘的書又是如何開頭的?
根據AI的說法,
她向牧師、家中的人、我和人們提出了建議(She made recommendations to the priest, man of the house and me and people)
是伏尼契手稿的第一句話。
「它提出了一個語法上的句子,你可以解釋它,」Kondrak說。「這是一個奇怪的句子,但它絕對有道理。」
也許這本書的內容是有關草藥植物的建議?研究團隊並不能確定。他們表示,需要古希伯來歷史學家的協助來進一步解碼。
「無論如何,對噪音輸入進行演算法解密的結果只能是起點,之後需要熟悉特定語言和歷史時期的學者參與研究。」
這種破譯長達240頁手稿的方式其實並不多見,但結果所得到的語句的確都講得通。重要的是,研究員們並沒有說他們破譯了整個伏尼契手稿,而是發現了手稿所使用的文字(希伯來語)和字母被重新排列的加密機制(按字母順序排列)。整部手稿的翻譯要等研究古希伯來語的歷史學家們去研究才能知曉。
不管怎樣,AI在人文與社會科學學科中的應用結果仍令人興奮。該團隊正計劃應用這一新演算法去破譯其他古老的手稿,凸顯人工智慧解決幾個世紀來一直困擾人類的種種難題的潛力。
素材來源:
https://gizmodo.com/artificial-intelligence-may-have-cracked-freaky-600-yea-1822519232?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI
https://www.sciencealert.com/ai-may-have-finally-decoded-the-bizarre-mysterious-voynich-manuscript
https://transacl.org/ojs/index.php/tacl/article/view/821
關注大數據文摘微信公眾號(BigDataDigest) 後台回復 「手稿」即可下載手稿研究論文。
推薦閱讀:
※桔子互動|use interval in Wechaty to overcome web-wechat API limitations
※盤點影響中國未來科技產業三年的2017五大領域十大產業政策
※2018 年 4 個需要關注的人工智慧趨勢
※人工智慧浪潮襲來,人才儲備卻成致命短板
※從互聯網進化的角度看AI+時代的巨頭競爭
TAG:人工智慧 |