Convex Formulation for Learning from Positive and Unlabeled Data

03-31

PU Learning的風險公式如下：

$R(g)=pi_pE_p[l(g(x),+1)-l(g(x),-1)]+E_u[l(g(x),-1)]$

相對應的經驗風險為

$widehat{R} = frac{pi_p}{n_p} sum_{x in mathcal{X}_p} [l(g(x),+1)-l(g(x),-1)] + frac{1}{n_u} sum_{x in mathcal{X}_u} l(g(x),-1)$

如果 $l(g(x),+1)-l(g(x),-1)=-g(x)$ ，上式就可以用凸優化來求解。

如果 $g(x)$ 是一個線性模型：

$g(x)=alpha^T varphi(x) + b$ ，

其中， $varphi(x) = [varphi_1(x) cdots varphi_m(x)]^T$ 是一組基函數。那麼，

$widehat{R}(alpha,b)=frac{pi_p}{n_p} sum_{i=1}^{n_p} (alpha^T varphi(x_i) - pi b) + frac{1}{n_u}sum_{j=1}^{n_u} l(alpha^T varphi(x_j)+b,-1)+frac{lambda}{2} alpha^T alpha$

接下來挑選一個損失函數，這裡以square loss為例。

$l_s(z,1)=frac{1}{4} (z-1)^2$

那麼， $l(z,1)-l(z,-1)=frac{1}{4} [(z-1)^2 - (z+1)^2] =-z$ .

square loss的一個好處是它能夠給出解析解。為了簡便，這裡省略偏置 $b$ ，那麼，通過核方法，經驗風險的矩陣表示如下：

$widehat{R}(alpha)= frac{1}{4n_u} alpha^T Phi^T_U Phi_U alpha + frac{1}{2n_u}1^T Phi_U alpha -frac{pi_p}{n_p} 1^T Phi_P alpha + frac{lambda}{2} alpha^T alpha$

上式最小化，令為0，可得

$alpha = (frac{1}{2n_p}Phi^T_U Phi_U + lambda I)^{-1} [frac{pi_p}{n_p} Phi^T_P1 - frac{1}{2n_u} Phi_U^T1]$

square loss的一個缺點在於如果 $z>1$ ，也會有損失。但如果正類被預測為大於1的值，是不應該有損失的。