大規模中文概念圖譜CN-Probase正式發布

歷時多年的研發，復旦大學知識工場實驗室正式推出大規模中文概念圖譜——CN-Probase，用於幫助機器更好的理解人類語言。概念圖譜中包含實體（比如「劉德華」）、概念（比如「演員」），實體與概念之間的類屬關係（又稱isA關係，比如 「劉德華 isA 演員」），概念與概念之間的 subclass of 關係（比如 「電影演員」是「演員」的子類）。通常後面兩類關係，又統稱為 isA 關係。如果 A isA B，通常稱A為B的下位詞（hyponym）,或者B為A的上位詞（hypernym）。

概念的形成是人類認知從具體進入抽象的第一步。人類通過概念認知世界，概念是人類認知世界的基石。概念是人腦對客觀事物本質的反映，是思維活動的結果和產物，是思維活動藉以開展的基本單元。比如「恐龍」這一概念讓我們能夠認知形形色色的恐龍，把握其共性本質，而無需糾纏於不同特定恐龍的細微差別。建立概念分類體系，並為數以千萬計的實體建立概念圖譜，是我們在讓機器具備認知能力的征程中所邁出的至關重要的一步。

人類通過分類結構（Taxonomy）來組織和表示概念。最早可以追溯到亞里士多德時代。隨後的幾千年來，人類一直在不斷完善概念的分類體系，並於近些年湧現了很多分類體系，如Cyc，WordNet等，這些概念分類體系大都由專家手工構建，質量精良，但是構建代價高昂，規模有限。

現在知識工場採用自動的方法，基於CN-DBpedia以及海量中文網頁語料等多個數據源，構建了大型中文概念知識圖譜——CN-Probase。針對中文語言的特性，採用了全新的抽取策略，達到質和量的全面升級。

CN-Probase是由復旦大學知識工場實驗室研發並維護的大規模中文概念圖譜，是目前規模最大的開放領域中文概念圖譜和概念分類體系，isA關係的準確率在95%以上。相比較於其他概念圖譜，CN-Probase具有兩個顯著優點：

一、規模巨大，基本涵蓋常見實體和概念。包含約1700萬實體、27萬概念和3300萬isA關係。

二、嚴格按照實體進行組織，有利於精準理解實體的概念。例如，「劉德華」這個名字，可能對應很多叫「劉德華」的人，在CN-Probase里搜索「劉德華」，會出現按照典型性排序的很多實體，排在第一個的是大家提及名字都會聯想到的歌手「劉德華」。

有了CN-Probase，計算機就能像人類一樣具有常識。例如，計算機可以知道鯉魚和鯊魚都是魚，但鯉魚是一種淡水魚，而鯊魚是一種海水魚。

與此同時，CN-Probase還可以廣泛應用於各種場景：

例一：搜索意圖理解

用戶搜索「西遊記」，我們通過它的概念「中國古代四大名著」、「小說」可以理解用戶是在搜索小說類名著。對於用戶搜索意圖的精準理解可以進一步幫助改進檢索、排序與推薦。

例二：實體相似性判斷

當用戶需要判斷「復旦大學」和「上海交大」是否相似時，僅僅根據字面相似性，很難知道它們是相似實體。但是通過CN-Probase，我們可以看到它們的概念是差不多的（如下圖），從而可以判斷它們在語義上是相似的。

例三：可解釋實體推薦

當用戶先後搜索「復旦大學」、「上海交通大學」，「上海理工大學」時，我們人類可以自然地推斷用戶是在搜索上海高校。如今，機器通過檢索CN-Probase，發現這三個實體共享「上海高校」這個概念，從而也可以準確識別用戶的搜索意圖，進一步推薦「上海外國語大學」，「同濟大學」等實體，並給出用戶是在搜索上海高校這一解釋。

目前，知識工場提供兩種方式訪問CN-Probase：

1. 頁面直接訪問。進入http://kw.fudan.edu.cn/cnprobase即可訪問CN-Probase頁面。
2. API介面訪問。我們提供了全套數據訪問API，大家可以訪問http://kw.fudan.edu.cn/apis/cnprobase/ 查看具體訪問方法。

值此發布之際，特向大規模概念圖譜的「前輩們」，包括德國馬普研究所的Yago、微軟亞洲研究院的Probase、微軟的概念圖譜以及哈爾濱工業大學的大詞林，表示崇高的敬意。

關注「知識工場」公眾號，查看此文，點擊「閱讀原文」查看CN-Probase頁面

更多產品試用請點擊知識工場網站主頁：http://kw.fudan.edu.cn/

合作意向、反饋建議請聯繫我們：

info.knowledgeworks@gmail.com

或直接聯繫知識工場負責人肖仰華教授：

shawyh@fudan.edu.cn