混淆矩陣

來自專欄我是程序員14 人贊了文章

摘要：不用千字，帶您透析混淆矩陣。

混淆矩陣（confusion matrix）衡量的是一個分類器分類的準確程度。理解其概念本身容易理解，但一些特定術語易被混淆。

混淆矩陣適用於包含多個分類器的問題，本文為了讓讀者理解更加容易，以二元分類的混淆矩陣為例進行講解。

觀察混淆矩陣，可得如下結論：

1. 示例是一個二元分類問題，產生兩種可能的分類：「是」或者「不是」。當預測一個事件是否發生時，「是」意味著該事件已經發生，而「否」則相反，該事件沒有發生。
2. 該模型對這個事件進行了100次預測。
3. 在這100次預測結果中，「是」有45次，「否」有55次。但實際上該事件發生了40次。

重要概念：

1. 真陽性（True Positive，TP）：樣本的真實類別是正例，並且模型預測的結果也是正例
2. 真陰性（True Negative，TN）：樣本的真實類別是負例，並且模型將其預測成為負例
3. 假陽性（False Positive，FP）：樣本的真實類別是負例，但是模型將其預測成為正例
4. 假陰性（False Negative，FN）：樣本的真實類別是正例，但是模型將其預測成為負例

混淆矩陣延伸出的各個評價指標

1.正確率（Accuracy）：被正確分類的樣本比例或數量

(TP+TN)/Total = (35+50)/100 = 85%

2.錯誤率（Misclassification/Error Rate）：被錯誤分類的樣本比例或數量

(FP+FN)/Total = (5+10)/100 = 15%

3.真陽率（True Positive Rate）：分類器預測為正例的樣本占實際正例樣本數量的比例，也叫敏感度（sensitivity）或召回率（recall），描述了分類器對正例類別的敏感程度。

TP/ actual yes = 35/40 = 87%

4.假陽率（False Positive Rate）：分類器預測為正例的樣本占實際負例樣本數量的比例。

FP/actual no = 10/60 = 17%

5.特異性（Specificity）：實例是負例，分類器預測結果的類別也是負例的比例。

TN/actual no = 50/60 = 83%

6. 精度（Precision）：在所有判別為正例的結果中，真正正例所佔的比例。

TP/predicted yes = 35/45 = 77%

7.流行程度（Prevalence）：正例在樣本中所佔比例。

Actual Yes/Total = 40/100 = 40%

關鍵術語：

1. 陽性預測值：其術語概念與精度非常類似，只是在計算陽性預測值考慮了流行程度。在流行程度為50%的時候，陽性預測值（PPV）與精度相同。
2. 空錯誤率：當模型總是預測比例較高的類別，其預測錯誤的實例所佔百分比。在上述示例中，空錯誤率為60/100 = 60%，因為如果分類器總是預測「是」，那麼對於60個為「否」的事件則可能進行錯誤預測。該指標可用於分類器間的性能比較。然而，對於某些特定的應用程序來說，其最佳分類器的錯誤率有時會比空錯誤率更高。
3. F值：F 值即為正確率和召回率的調和平均值。
4. Roc曲線：即接收者操作特徵曲線(receiver operating characteristic curve)，反映了真陽性率（靈敏度）和假陽性率（1-特異度）之間的變化關係。Roc曲線越趨近於左上角，預測結果越準確。

以上為譯文，由阿里云云棲社區組織翻譯。

譯文鏈接

文章原標題《Understanding the Confusion Matrix》

作者：Sunil Kappal，譯者：Elaine，審校：袁虎。

文章為簡譯，更為詳細的內容，請查看原文

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎

本文為雲棲社區原創內容，未經允許不得轉載。