scikit-learn 半監(jiān)督學(xué)習(xí)

Semi-supervised learning是指訓(xùn)練數(shù)據(jù)中一些樣本數(shù)據(jù)沒有標(biāo)簽的情況。sklearn.semi_supervised 中的半監(jiān)督估計器，能夠利用這些附加的未標(biāo)記數(shù)據(jù)來更好地捕獲底層數(shù)據(jù)分布的形狀，并將其更好地類推廣到新的樣本。當(dāng)訓(xùn)練數(shù)據(jù)中有非常少量的有標(biāo)簽的點和大量的無標(biāo)簽的點時，這些算法可以表現(xiàn)良好。

y 中含有未標(biāo)記的數(shù)據(jù)

在使用fit方法訓(xùn)練模型時，重要的是將標(biāo)識符與標(biāo)記數(shù)據(jù)一起分配給未標(biāo)記點。此實現(xiàn)使用的標(biāo)識符是整數(shù)值?1。

1.14.1 標(biāo)簽傳播

標(biāo)簽傳播表示半監(jiān)督圖推理算法的幾個變體。

該模型中有以下幾個特性：

• 可用于分類和回歸任務(wù)
• 使用內(nèi)核方法將數(shù)據(jù)投影到備用維度空間

scikit-learn 提供了兩種標(biāo)簽傳播模型： LabelPropagation 和 LabelSpreading 。 兩種方法都是在輸入數(shù)據(jù)集中的所有項上構(gòu)造一個相似圖。

標(biāo)簽傳播的說明： 未標(biāo)記觀測的結(jié)構(gòu)與類結(jié)構(gòu)是一致的，從而可以將類標(biāo)簽傳播到訓(xùn)練集的未標(biāo)記觀測。

LabelPropagation 和 LabelSpreading 在對圖形的相似性矩陣以及對標(biāo)簽分布的夾持效應(yīng)（clamping effect）方面的修改不太一樣。 夾持效應(yīng)允許算法在一定程度上改變真實標(biāo)簽化數(shù)據(jù)的權(quán)重。 LabelPropagation 算法執(zhí)行輸入標(biāo)簽的全加持（hard clamping），這意味著 。夾持因子可以不一定很嚴(yán)格。例如 意味著我們將始終保留原始標(biāo)簽分布的 80%，但該算法可以將其分布的置信度改變在 20% 以內(nèi)。

LabelPropagation 使用未經(jīng)修改的數(shù)據(jù)構(gòu)造的原始相似度矩陣。相反 LabelSpreading最小化了具有正則化特性的損失函數(shù)，因此它通常對噪聲更有魯棒性。該算法在原始圖形的修改版本上進(jìn)行迭代，并通過計算 normalized graph Laplacian matrix（歸一化圖拉普拉斯矩陣）來對邊緣的權(quán)重進(jìn)行歸一化。這一過程也用于光譜聚類。

標(biāo)簽傳播模型有兩個內(nèi)置的核方法。核的選擇對算法的可擴(kuò)展性和性能都有影響?？色@得以下：

• , 通過關(guān)鍵字gamma指定
• , 通過關(guān)鍵字 n_neighbors 指定

RBF核將生成一個完全連通的圖，在內(nèi)存中用稠密矩陣表示。該矩陣可能非常大，再加上對算法的每一次迭代執(zhí)行全矩陣乘法計算的成本，可能導(dǎo)致運行時間過長。另一方面，KNN核將產(chǎn)生一個對內(nèi)存更友好的稀疏矩陣，可以大大減少運行時間。

參考

[1] Yoshua Bengio, Olivier Delalleau, Nicolas Le Roux. In Semi-Supervised Learning (2006), pp. 193-216

[2] Olivier Delalleau, Yoshua Bengio, Nicolas Le Roux. Efficient Non-Parametric Function Induction in Semi-Supervised Learning. AISTAT 2005 https://research.microsoft.com/en-us/people/nicolasl/efficient_ssl.pdf