CANE：用於關係建模的上下文相關網路表示學習模型

「每周一起讀」是由 PaperWeekly 發起的協同閱讀小組。我們每周精選一篇優質好文，利用在線協同工具進行精讀並發起討論，在碎片化時代堅持深度閱讀。目前已成立的專題小組有：Chatbot、機器翻譯、知識圖譜、GAN、推薦系統、QA、增強學習、多模態、自動文摘和統計學習。

CANE: Context-Aware Network Embedding for Relation Modeling

本文工作來自第 9 期 PhD Talk 嘉賓 — 清華大學計算機系人智所自然語言處理組的塗存超博士。該工作利用社會網路中用戶產生的文本信息（如論文），採用 cross attention 技術，建立了上下文敏感的網路節點表示學習模型，在這裡某個網路節點的表示會根據鏈接鄰居的不同而不同，該演算法在社會網路鏈接預測任務上表現非常好。本文已入選 ACL2017。

論文鏈接：http://www.thunlp.org/~tcc/publications/acl2017_cane.pdf

相關代碼：thunlp/CANE

相關數據集：

Cora: thunlp/CANE

HepTh: thunlp/CANE

Zhihu: thunlp/CANE

閱讀筆記精選

huangchao

本文是一篇關於網路表示學習的文章，用於對一個網路結構中的節點進行向量化表示，傳統的方法大都沒有考慮一些異構信息（如節點的標籤，文本等），在和不同的節點進行交互時，其表示也是相同的，因而是 context-free 的。本文的模型（CANE）通過引入一種相互注意機制（mutual attention），對節點的結構信息和文本信息進行了融合，從而可以考慮節點的上下文信息，在和不同的節點交互時具有不同的表示。本文的模型在連接預測和節點分類的任務上均取得了比其它模型更好的結果。

個人覺得本文的工作對於實體消歧方面的工作具有借鑒意義，另外，個人覺得本文模型可能受限的地方在於，本文考慮的 context 是針對一條邊所連接的結點的文本信息，可能有點匱乏，以前看一些工作，網路中一個結點的 context 通常被認為是該結點連接的邊以及其鄰居結點的信息，因此，或許結合之前做關係抽取用到的 selective attention 找到和該結點連接的比較重要的一些邊，再使用本文的 mutual attention 對結點的 text 和這些邊的領域結點的 text 進行融合表示，或許可以學習到一個更有意義的結點的表示。

lizhili

本文主要針對目前存在的 NE 方法對於每個頂點僅有一個簡單 embedding，沒有考慮到網路節點根據不同的交互對象會展現出不同交互特性的缺陷，提出了上下文敏感的網路表示（CANE）。首先通過 cnn 得到網路頂點的一個 embedding（context-free embedding），之後通過計算該節點與相鄰節點的 mutual attention（就是在 pooling 層引入一個相關程度矩陣），得到頂點針對該相鄰節點的 context-aware embedding，最終頂點的 embedding 表示由這兩個 embedding 結合得到。文章將模型用到了鏈接預測，節點間關係解釋任務中，均取得了不錯效果。

dingboy

對於傳統的 NE 方法，結點只有一個 embedding，缺乏多樣性。本文針對這點提出了上下文敏感的 embedding，從而構成了「動態」的結點。本文的「動態」思路與之前的 TransX 系列有類似之處。例如，TransD 與 TransR 通過投影矩陣，使得 entity 在不同 relation 下有不同的 embedding。而 TransG 認為 relation 具有多語義，通過生成模型，根據不同的實體對動態生成 relation 的語義 embedding。總體來說，本文的模型具有較好的借鑒意義。

Q&A 精選

beryl

a low-dimensional embedding

這裡是為每個頂點學習一個表示還是根據連接情況學習多個表示？

lizhili: 這裡指的應該是一個固定的 embedding，也就是下文提到採用 NRL 得到 Context-free embedding，得到一個自身的 embedding。 不過除此之外，CANE 還會通過不同的鄰邊節點得到 context-aware embedding。

karis: 為每個頂點學習一個表示，但利用了網路結構和相關信息如節點描述 text。

Herbert002

Invthis paper, we assume that one vertex usu-ally shows different aspects when interact-ing with different neighbor vertices, and should own different embeddings respec-tively. Therefore, we present Context-Aware Network Embedding (CANE), anovel NE model to address this issue. CANE learns context-aware embeddings for vertices with mutual attention mecha-nism and is expected to model the seman-tic relationships between vertices more precisely.

作者假設一個節點通常在與不同的相鄰節點交互時表現出不同的側面，所以應當分別 embedding。因此，提出了上下文相關網路 Embedding（CANE）。CANE 為節點學習一個帶相互注意機制的上下文相關 embedding，有望更準確地模擬節點間的語義關係。

sunflower18: 這個相互注意機制要怎麼理解啊，跟上下文相關是一個意思嗎？

Herbert002: 在 4.5 節有詳細說明，我覺得文中主要是引入 attentive matrix A 來實現。

mikasa: 賦予不同權重。

plntr

Given a word sequence S=(w1;w2;:::;wn)

要求每個 vertex 的 word sequence 是固定長度。實際問題中，如果每個頂點的 associate text 變長怎麼辦？

Update：根據後面描述，每一個頂點都有單獨的 convolution matrix，也就是頂點不共享參數？

kaharjan: word sequence 的長度應該不固定。

想和我們一起研讀優質paper？

點擊提交內測申請，我們將在 48 小時內完成審核並和您取得聯繫。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly