《Teaching-to-Learn and Learning-to-Teach for Multi-label Propagation》閱讀筆記

01-29

轉載請註明出處：西土城的搬磚日常

原文鏈接：Teaching-to-Learn and Learning-to-Teach for Multi-label Propagation

文章來源：AAAI 2016

一、論文簡介

在Multi-label任務中提出teacher和learner的思想，提出了一種新穎的學習框架。論文提出對於每個可能的標籤都應該有一位老師，在Teaching-to-Learn步驟中，老師會為學生選相對比較簡單的項目先學習，而在Learning-to-Teach步驟中，老師會收到學生對之前學習任務的反饋，來選擇下一步學習的項目。

二、相關知識簡介

Multi-Label Learning （多標籤學習)：

在傳統的監督學習中，一個對象只與一個label相對應。

而在現實生活中，一般一個對象可能與多個label相對應。

例如，《復仇者聯盟》這部電影，並不是一部單純的「科幻片」，同時也是「動作片」，「奇幻片」和「冒險片」。

對於一張圖片，multi-label learning 目的在標記出圖像裡面的多個對象。

三、本文工作介紹

Teaching-to-Learn:

我們給q個標籤每個都分配一個teacher。在teaching-to-learn環節中，第r個teacher會考慮對於每個 $x_{i}$ 學習標籤r的難度。對於學習標籤的難度，主要考慮對於給 $x_{i}$ 打標籤r的確定性 $M_{r}(x_{i} )$ 和標籤互相之間的相似性 $Q_{rp}$ 。

1. $M_{r}(x_{i} )$ ——表示對於 $x_{i}$ 能都很輕易的判斷是否應該屬於標籤r

$C_{r}$ 是所有被標記r的對象集合

$bar{C_{r}}$ 是所有不標記r的對象集合

$T(x_{i},x_{i^{}})$ 代表 $x_{i}$ 到 $x_{i^{}}$ ，又從 $x_{i^{}}$ 回到 $x_{i}$ 的時間。那麼 $tilde{T}(x_{i},C_{r})$ 和 $tilde{T}(x_{i},bar{C_{r}} )$ 代表 $x_{i}$ 到所有被標記r的和不標r的對象的平均時間，即可以反映 $x_{i}$ 與標籤r的相似性。

綜上，M_{r}(x_{i} ) 越大，那麼 $x_{i}$ 對於標籤r的確定性越大。

2. $Q_{rp}$ ——表示表示標籤r和標籤q之間的相似性

考慮以上兩個因素，最終對於每一個標籤r會生成一個二元的選擇矩陣 $S^{(r)}$ ，其中元素 $S_{i,j}^{(r)}$ 表示teacher r認為第i的個例子是簡單的，應該被包含在第j個課程集里。 $S^{*}$ 表示被所有teacher的相同決定。

目標函數中第一項表示對 $x_{i}$ 打標籤r的確定性 $M^{(r)}$ 很小，那麼就把決定矩陣 $S^{(r)}$ 中的第r行變成0，即在這次學習過程中，不給 $x_{i}$ 打上r的標籤。第二項表示，如果標籤r和p是很相似的，那麼我們強迫對於兩個標籤所做出的選擇也是相似的。第三項用於控制使所有標籤的選擇結果和最終綜合的結果間的差異性要儘可能的小。

Learning-to-Teach:

在這個過程中，teacher會收到learner的反饋，並根據反饋來決定下一次學習的課程數目。如果學習結果比較好，下一次傳播會學習更多的過程，相反則減少學習的課程數目。在這個過程中，作者定義了learning confidence—— $Conf(S^{*} )$ ，用於評價在決策 $S^{*}$ 中learner的表現。如果 $S^{*}$ 中 $x_{i}$ 被標記r，那麼 $Y_{ir}=1$ 。那麼標籤分數 $F_{ir}$ （ $x_{i}$ 屬於類r的概率）就應該儘可能地大， $F_{ir}$ 越大表示 $x_{i}$ 對於標記r越有信心。