求助knnd的roc曲线画法

nomove

我用class包knn分类器得到了分类结果，

[data]

[1] 0 0 1 1 1 1 1 0 0 1 0 1 1 1 0 1 0 0 1 0 0 1 1 0 1 1 1 1 1 1 1 0 0 0 1 0

[37] 1 1 0 0 0 1 0 0 1 1 0 1 1 0 0 1 1 0 0 1 1 0 0 0

attr(,"prob")

[1] 0.6363636 0.5454545 0.6363636 0.5142857 0.5555556 0.5142857 0.5277778

[8] 0.6363636 0.6363636 0.5277778 0.6086957 0.6071429 0.6363636 0.5116279

[15] 0.6363636 0.5517241 0.7000000 0.5000000 0.6363636 0.5806452 0.5454545

[22] 0.5277778 0.5142857 0.5806452 0.5555556 0.5483871 0.5142857 0.6071429

[29] 0.5675676 0.5142857 0.6071429 0.6086957 0.5806452 0.6086957 0.5517241

[36] 0.5454545 0.5116279 0.5483871 0.6086957 0.6666667 0.6363636 0.5277778

[43] 0.6666667 0.6086957 0.6363636 0.6071429 0.6666667 0.5116279 0.6071429

[50] 0.5454545 0.6666667 0.5555556 0.5142857 0.7000000 0.6363636 0.5555556

[57] 0.5116279 0.6363636 0.5806452 0.6086957

Levels: 0 1

[/data]

我觉得就是改变这里的attr(p, "prob")的不同的cutoff，就能得到不同的sensitivity和specificity，然后就可以画ROC了。

于是就有了

<br />
step=100<br />
s=0<br />
e=1<br />
cutoff <- seq(s, e, by=(e-s)/step)<br />
se <- rep(0, step)<br />
sp <- rep(0, step)<br />
library(caret)<br />
for(i in 1:step)<br />
{<br />
	pbt = p<br />
	levels(pbt)=c(0,1,2)<br />
	attr(pbt,"prob")=attr(p,"prob")<br />
	pbt[which(attr(pbt, "prob")<cutoff[i] & pbt==1)]=2<br />
	pbt[which(attr(pbt, "prob")<cutoff[i] & pbt==0)]=1<br />
	pbt[which(pbt==2)]=0<br />
	pbt=factor(as.numeric(pbt))<br />
	levels(pbt)=c(0,1)<br />
	conm=confusionMatrix(pbt, te[, 3], positive="1")<br />
	se[i]=conm$byClass["Sensitivity"]<br />
	sp[i]=conm$byClass["Specificity"]<br />
}<br />

但是得到的se和sp直接plot得到的曲线不是那样从单增的曲线，这个要怎么解决？

或者有哪个包能直接画knn的roc曲线也可以。

还有同样的问题也出现自RSNNS做mlp的时候。

nan.xiao

pROC 和 ROCR 都可以画吧。。。不需要自己写。。。

nomove

楼上的能提供代码吗？

真正用的时候才会发现问题。

pROC也好，ROCR也好，都需要predict对象，而knn和ann是没有这样的对象的。

nan.xiao

这样？

<br />
require(caret)<br />
require(mlbench)<br />
require(pROC)<br />
data(PimaIndiansDiabetes)</p>
<p>model = train(form   = diabetes ~ .,<br />
              data   = PimaIndiansDiabetes,<br />
              method = 'knn')</p>
<p>result = extractProb(list(model))<br />
roc(result$obs, result$pos, plot = TRUE)<br />

可以自己划分一下测试集，然后 extractProb(list(model), testX = ..., testY = ...).

nomove

<br />
f1,	f2,	gm<br />
1,	8,	1<br />
2,	5,	0<br />
1,	3,	0<br />
2,	6,	0<br />
2,	4,	1<br />
1,	1,	0<br />
2,	2,	0<br />
1,	7,	1<br />
2,	5,	1<br />
1,	7,	1<br />
1,	5,	0<br />
1,	6,	1<br />
1,	2,	0<br />
2,	7,	0<br />
2,	6,	0<br />
1,	8,	0<br />
1,	2,	1<br />
2,	7,	1<br />
1,	8,	1<br />
1,	2,	1<br />
2,	4,	0<br />
1,	7,	0<br />
1,	3,	1<br />
1,	8,	0<br />
2,	2,	1<br />
2,	3,	1<br />
2,	4,	0<br />
1,	1,	0<br />
2,	3,	1<br />
2,	6,	0<br />
1,	8,	1<br />
1,	1,	0<br />
1,	1,	1<br />
2,	1,	1<br />
1,	8,	0<br />
2,	1,	1<br />
2,	5,	0<br />
2,	4,	0<br />

在这样的数据上用的时候，会

Error in [.data.frame(classProb, , obsLevels) :

undefined columns selected

<br />
rm(list=ls())<br />
d=read.csv(file="1.csv", header=TRUE, sep=",")<br />
dm=d[,c(1,2,3)]</p>
<p>model = train(form   = gm ~ .,<br />
              data   = dm,<br />
              method = 'knn')</p>
<p>result = extractProb(list(model))<br />
roc(result$obs, result$pos, plot = TRUE)<br />

另外你那个是什么原理呢？

nan.xiao

<br />
require(caret)<br />
require(pROC)</p>
<p>d = read.csv(textConnection('<br />
f1,  f2,    gm<br />
1,    8,    1<br />
2,    5,    0<br />
1,    3,    0<br />
2,    6,    0<br />
2,    4,    1<br />
1,    1,    0<br />
2,    2,    0<br />
1,    7,    1<br />
2,    5,    1<br />
1,    7,    1<br />
1,    5,    0<br />
1,    6,    1<br />
1,    2,    0<br />
2,    7,    0<br />
2,    6,    0<br />
1,    8,    0<br />
1,    2,    1<br />
2,    7,    1<br />
1,    8,    1<br />
1,    2,    1<br />
2,    4,    0<br />
1,    7,    0<br />
1,    3,    1<br />
1,    8,    0<br />
2,    2,    1<br />
2,    3,    1<br />
2,    4,    0<br />
1,    1,    0<br />
2,    3,    1<br />
2,    6,    0<br />
1,    8,    1<br />
1,    1,    0<br />
1,    1,    1<br />
2,    1,    1<br />
1,    8,    0<br />
2,    1,    1<br />
2,    5,    0<br />
2,    4,    0'))</p>
<p>d$gm = as.factor(d$gm)<br />
levels(d$gm) = c('x0', 'x1')</p>
<p>model = train(form   = gm ~ .,<br />
              data   = d,<br />
              method = 'knn')</p>
<p>result = extractProb(list(model))</p>
<p>roc(result$obs, result$x0, plot = TRUE)<br />

nomove

求指导。

你这里根本没做预测，没有confusion matrix，敏感度和特异度是怎么得到的呢？

nan.xiao

已经封装好了，无需手工计算。领悟下 caret 的文档。

nomove

领教领教。

还有个问题，roc画图怎么把横轴变成1-sep呢？

nan.xiao

ROCR 换这些度量比较方便。

<br />
require(ROCR)<br />
pred = prediction(result$x0, result$obs)<br />
perf = performance(pred, "tpr", "fpr")<br />
plot(perf)<br />

nomove

拜谢[s:11]