一、roc曲線(xiàn)

1、roc曲線(xiàn)：接收者操作特征(receiveroperating characteristic),roc曲線(xiàn)上每個(gè)點(diǎn)反映著對(duì)同一信號(hào)刺激的感受性。

橫軸：負(fù)正類(lèi)率(false postive rate FPR)特異度，劃分實(shí)例中所有負(fù)例占所有負(fù)例的比例；(1-Specificity)

縱軸：真正類(lèi)率(true postive rate TPR)靈敏度，Sensitivity(正類(lèi)覆蓋率)

2、針對(duì)一個(gè)二分類(lèi)問(wèn)題，將實(shí)例分成正類(lèi)(postive)或者負(fù)類(lèi)(negative)。但是實(shí)際中分類(lèi)時(shí)，會(huì)出現(xiàn)四種情況.

(1)若一個(gè)實(shí)例是正類(lèi)并且被預(yù)測(cè)為正類(lèi)，即為真正類(lèi)(True Postive TP)

(2)若一個(gè)實(shí)例是正類(lèi)，但是被預(yù)測(cè)成為負(fù)類(lèi)，即為假負(fù)類(lèi)(False Negative FN)

(3)若一個(gè)實(shí)例是負(fù)類(lèi)，但是被預(yù)測(cè)成為正類(lèi)，即為假正類(lèi)(False Postive FP)

(4)若一個(gè)實(shí)例是負(fù)類(lèi)，但是被預(yù)測(cè)成為負(fù)類(lèi)，即為真負(fù)類(lèi)(True Negative TN)

TP：正確的肯定數(shù)目

FN：漏報(bào)，沒(méi)有找到正確匹配的數(shù)目

FP：誤報(bào)，沒(méi)有的匹配不正確

TN：正確拒絕的非匹配數(shù)目

列聯(lián)表如下，1代表正類(lèi)，0代表負(fù)類(lèi)：

由上表可得出橫，縱軸的計(jì)算公式：

(1)真正類(lèi)率(True Postive Rate)TPR：TP/(TP+FN)，代表分類(lèi)器預(yù)測(cè)的正類(lèi)中實(shí)際正實(shí)例占所有正實(shí)例的比例。Sensitivity

(2)負(fù)正類(lèi)率(False Postive Rate)FPR：FP/(FP+TN)，代表分類(lèi)器預(yù)測(cè)的正類(lèi)中實(shí)際負(fù)實(shí)例占所有負(fù)實(shí)例的比例。1-Specificity

(3)真負(fù)類(lèi)率(True Negative Rate)TNR： TN/(FP+TN)，代表分類(lèi)器預(yù)測(cè)的負(fù)類(lèi)中實(shí)際負(fù)實(shí)例占所有負(fù)實(shí)例的比例，TNR=1-FPR。Specificity

假設(shè)采用邏輯回歸分類(lèi)器，其給出針對(duì)每個(gè)實(shí)例為正類(lèi)的概率，那么通過(guò)設(shè)定一個(gè)閾值如0.6，概率大于等于0.6的為正類(lèi)，小于0.6的為負(fù)類(lèi)。對(duì)應(yīng)的就可以算出一組(FPR,TPR)，在平面中得到對(duì)應(yīng)坐標(biāo)點(diǎn)。隨著閾值的逐漸減小，越來(lái)越多的實(shí)例被劃分為正類(lèi)，但是這些正類(lèi)中同樣也摻雜著真正的負(fù)實(shí)例，即TPR和FPR會(huì)同時(shí)增大。閾值最大時(shí)，對(duì)應(yīng)坐標(biāo)點(diǎn)為(0,0)，閾值最小時(shí)，對(duì)應(yīng)坐標(biāo)點(diǎn)(1,1)。

如下面這幅圖，(a)圖中實(shí)線(xiàn)為ROC曲線(xiàn)，線(xiàn)上每個(gè)點(diǎn)對(duì)應(yīng)一個(gè)閾值。

橫軸FPR：1-TNR，1-Specificity，F(xiàn)PR越大，預(yù)測(cè)正類(lèi)中實(shí)際負(fù)類(lèi)越多。

縱軸TPR：Sensitivity(正類(lèi)覆蓋率)，TPR越大，預(yù)測(cè)正類(lèi)中實(shí)際正類(lèi)越多。

理想目標(biāo)：TPR=1，F(xiàn)PR=0,即圖中(0,1)點(diǎn)，故ROC曲線(xiàn)越靠攏(0,1)點(diǎn)，越偏離45度對(duì)角線(xiàn)越好，Sensitivity、Specificity越大效果越好。

二、如何畫(huà)roc曲線(xiàn)

假設(shè)已經(jīng)得出一系列樣本被劃分為正類(lèi)的概率，然后按照大小排序，下圖是一個(gè)示例，圖中共有20個(gè)測(cè)試樣本，“Class”一欄表示每個(gè)測(cè)試樣本真正的標(biāo)簽（p表示正樣本，n表示負(fù)樣本），“Score”表示每個(gè)測(cè)試樣本屬于正樣本的概率。

接下來(lái)，我們從高到低，依次將“Score”值作為閾值threshold，當(dāng)測(cè)試樣本屬于正樣本的概率大于或等于這個(gè)threshold時(shí)，我們認(rèn)為它為正樣本，否則為負(fù)樣本。舉例來(lái)說(shuō)，對(duì)于圖中的第4個(gè)樣本，其“Score”值為0.6，那么樣本1，2，3，4都被認(rèn)為是正樣本，因?yàn)樗鼈兊摹癝core”值都大于等于0.6，而其他樣本則都認(rèn)為是負(fù)樣本。每次選取一個(gè)不同的threshold，我們就可以得到一組FPR和TPR，即ROC曲線(xiàn)上的一點(diǎn)。這樣一來(lái)，我們一共得到了20組FPR和TPR的值，將它們畫(huà)在ROC曲線(xiàn)的結(jié)果如下圖：

AUC(Area under Curve)：Roc曲線(xiàn)下的面積，介于0.1和1之間。Auc作為數(shù)值可以直觀的評(píng)價(jià)分類(lèi)器的好壞，值越大越好。

首先AUC值是一個(gè)概率值，當(dāng)你隨機(jī)挑選一個(gè)正樣本以及負(fù)樣本，當(dāng)前的分類(lèi)算法根據(jù)計(jì)算得到的Score值將這個(gè)正樣本排在負(fù)樣本前面的概率就是AUC值，AUC值越大，當(dāng)前分類(lèi)算法越有可能將正樣本排在負(fù)樣本前面，從而能夠更好地分類(lèi)。

三、為什么使用Roc和Auc評(píng)價(jià)分類(lèi)器

既然已經(jīng)這么多標(biāo)準(zhǔn)，為什么還要使用ROC和AUC呢？因?yàn)镽OC曲線(xiàn)有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變換的時(shí)候，ROC曲線(xiàn)能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)樣本類(lèi)不平衡，即正負(fù)樣本比例差距較大，而且測(cè)試數(shù)據(jù)中的正負(fù)樣本也可能隨著時(shí)間變化。下圖是ROC曲線(xiàn)和Presision-Recall曲線(xiàn)的對(duì)比：

在上圖中，(a)和(c)為Roc曲線(xiàn)，(b)和(d)為Precision-Recall曲線(xiàn)。

(a)和(b)展示的是分類(lèi)其在原始測(cè)試集(正負(fù)樣本分布平衡)的結(jié)果，(c)(d)是將測(cè)試集中負(fù)樣本的數(shù)量增加到原來(lái)的10倍后，分類(lèi)器的結(jié)果，可以明顯的看出，ROC曲線(xiàn)基本保持原貌，而Precision-Recall曲線(xiàn)變化較大。