基於遷移學習（Transfer learning）的反欺詐（二）

正如《基於遷移學習（Transfer learning）的反欺詐（一）》文末所述，遷移學習的關鍵，用四個字概括，就是「找對巨人」，也就是需要找到不同場景之間的關聯和共性（特徵），本文就系統性地介紹一下遷移學習的幾種方法。

首先，來看幾個定義。

1. Domain：

包含兩個component，一是向量空間X，一個是X的分布P(X)

2. Task:

給定一個特定的domain和label空間Y，對於domain里每一個xi，都可以預測出相應的yi。通常，如果兩個task不同，那麼其通常有不同的label空間，或者不同的條件分布P(Y|X)

3. Source domain：

如果把一個task A上的knowledge遷移到task B上，那麼就說task A對應的domain就是Source domain, P(XS)

4. Target domain：

如果把一個task A上的knowledge遷移到task B上，那麼就說task B對應的domain就是Target domain, P(XT)

下面，根據標籤的情況，將遷移學習分為三種類型：

Vontear在其blog里有一個形象的說明，在此引用下其說明：

Transductive Learning： 從彼個例到此個例，有點象英美法系，實際案例直接結合過往的判例進行判決。關注具體實踐。

Inductive Learning：從多個個例歸納出普遍性，再演繹到個例，有點象大陸法系，先對過往的判例歸納總結出法律條文，再應用到實際案例進行判決。從有限的實際樣本中，企圖歸納出普遍真理，傾向形而上，往往會不由自主地成為教條。

而對於unsupervised learning ，黃姐姐在其「大數據反欺詐」專欄前述文章中有大量的介紹，在此不再重複。

根據遷移的對象，可以將遷移學習分為四種類型：

以下，具體介紹一下幾種常用的思路。

• Inductive Transfer Learning + Instance-transfer

適用條件：Source Domain和Target Domain數據的特徵（feature）和標籤（label）完全相同。

處理方式：重新調整source domain的權重，應用於target domain。

舉例：信用卡申請的申請表和小額貸款的申請表的申請欄位相同，其他埋點信息也相同，且最終的結論都是【通過】和【拒絕】。那麼，在兩者的申請場景下，可以採用此種方法。

• Inductive Transfer Learning + Feature-representation -transfer

適用條件：Task之間具有一定關聯性，且包含共同的特徵

處理方式：把每一個task作為輸入，用task之間共同的feature來建模。解釋一下，首先你要通過一些方法將source domain里無標籤的數據做一個更高level的提煉，稱為representation；然後要將target domain的數據也做一個類似的轉換，即representation；這樣，我們就可以用可以利用representation來作為建模，且使用與representation相關的標籤了。（很像求最小公倍數的思路）

舉例：這也是一種常用的思路。舉一個最經典的例子，信用卡還款，有各種逾期行為，我們定義壞人的方式是認為M3&M3+；消費貸分期，也會有各種沒有按時還款的行為，而這個定義是M2&M2+。看上去兩個定義不同，但我們給這樣一個新定義：壞人。此處，【壞人】就是一個共同的feature，也就是我們的定義representation。

• Inductive Transfer Learning + Parameter-transfer

適用條件：Task之間具有一定關聯性，且在某個獨立模型中共用一些參數。

處理方式：提取共用的參數直接遷移即可，這種方式在多任務模型（Multiple tasks model）中應用比較廣泛。

舉例：在《基於遷移學習（Transfer learning）的反欺詐（一）》中的關於識別男女和識別人類的多層神經網路的應用，就是一個非常典型的parameter-transfer的例子。

• Inductive Transfer Learning + Relational-knowledge-transfer

適用條件：Source domain的內部關係和target domain的內部關係有相似性。什麼意思呢？舉個??：在學術領域和影視業就有如下相似的關係。

處理方式：將source domain學習到的MLN（Markov Logic Network）遷移到target domain中，輸出一個針對target domain的新的MLN。

舉例：這個可以用來分析新的團伙欺詐模式，例如信用卡申請和銀行放貸的內外勾結、中介機構包裝偽造信息等。

此外，Transductive Transfer Learning與Instance-transfer和Feature-representation-transfer相結合的應用與上述第一種和第二種類似。

對於Unsupervised transfer learning，通常應用於source domain有大量無標籤數據，而target domain的數據量比較小且也是無標籤的情況，採用的方式為Feature-representation-transfer方法。特別地，基於層次聚類方法論，採用parameter-transfer也可以大幅提高模型的運算效率。

至此，我們已經了解了比較主流的遷移學習方法。那麼，我們還有最後一個問題：如何能夠避免找錯巨人而誤入大坑（專業名詞為negative transfer）呢？Sinno Jialin Pan提出過一個防止誤入大坑的建議（黑色對號）。而基於黃姐姐的實際項目經驗，將調整後的表格修改如下（紅色對號為黃姐姐添加）：

綜上，Transfer Learning對於提高模型運算效率有十分重要的意義。然而，是否能夠遷移，如何進行有效地遷移仍然是建模工程師重點關注的。對於已知欺詐，Transfer learning具有更好的適用性，而對於未知欺詐，若想使用transfer learning，通常還是需要配合一些背景調查以及一些標籤和業務知識輸入，否則，也較難適用。

感謝作者：

Sinno Jialin Pan, Qiang Yang, http://ieeexplore.ieee.org/document/5288526/?reload=true

Lars Hulstaert, https://www.datacamp.com/community/tutorials/transfer-learning

Vontear, https://blog.csdn.net/smallstones/article/details/42213621

推薦閱讀：