DrQA基於維基百科數據的開放域問答機器人實戰教程

來自專欄 TensorFlowNews6 人贊了文章

作者 | fendouai

【磐創AI導讀】：本文主要向大家推薦一個開放域問答機器人的實戰項目。

目錄：

• 官方介紹
• 實戰

DrQA 是一個基於維基百科數據的開放域問答系統，它由檢索器和閱讀器組成。其中檢索器用於從海量的文本（例如維基百科）中獲得相關的文章；閱讀器用於從文章中獲得相應的答案。

一 . 官方介紹

DrQA是一個應用於開放域問答的閱讀理解系統。特別是，DrQA的目標是「大規模機讀」（MRS）。在這個設定中，我們在可能非常大的非結構化文檔集中搜索問題的答案。因此，系統必須將文檔檢索（查找相關文檔）的挑戰與機器對文本的理解（從這些文檔中識別答案）的挑戰相結合。

我們使用DrQA的實驗側重於回答factoid問題，同時使用Wikipedia作為文檔的獨特知識源。維基百科是一個非常適合大規模，豐富，詳細信息的來源。為了回答任何問題，必須首先在超過500萬個文章中檢索可能相關的文章，然後仔細掃描它們以確定答案。

請注意：

DrQA將Wikipedia視為一個通用的文章集合，並不依賴於其內部知識結構。因此，DrQA可以直接應用於任何文檔集合。

數據集：維基百科

框架：PyTorch

版本：PyTorch torch-0.3.0

論文：Reading Wikipedia to Answer Open-Domain Questions

項目：https://github.com/facebookresearch/DrQA

系統架構：

二. 實戰

交互模式下提問（一）：

where is stanford university

可以看到檢索到的文檔是 Stanford University，問題的答案是：淺綠色標註的部分，答案非常的精準。

交互模式下提問（二）：

where is Barack Hussein Obama from

回答不是很精準，我其實想問的是奧巴馬來自哪裡。答案返回的是奧巴馬在哪裡，奧巴馬在華盛頓，不過也還是相當不錯。

交互模式下提問（三）：

who is Donald Trump

這個問題並沒有找到準確的答案，雖然文檔是相關的。

最後，對深度學習感興趣，熱愛Tensorflow的小夥伴，歡迎關注我們的網站！http://www.tensorflownews.com。我們的公眾號：磐創AI。