求助：R中cor.test()高效率计算p value的方法

WANGXIANSHENG

我有一个文件，5万行，400列（50000x400)。需要计算各行之间两两之间的相关系数和p value。

在R中读入后，

x<-read.table(...)

xx<-t(x)

r<-cor(xx) #计算相关系数矩阵，速度还是蛮快的，几分钟完成。

现在是计算p value，显然无法用cor.test(xx)来计算，出错误。如果运用for循环(如下模式），两两计算，把结果赋给一个matrix的对应元素，这种效率太低了。结果算了一天，还没完成，还不知道要多久。

for(i in 1:50000){

for(j in i:50000){

p<-cor.test(xx[,i],xx[,j])

M[i,j]<-p$p.value

M[j,i]<-M[i,j]

}

}

有没有类似cor(xx)或者别的更快的计算方法呢？还是我的计算出现了问题呢？多开几个窗口似乎并不能显著提高速度。

超级无奈，请高人指点！谢谢。

nan.xiao

1. 并行

2. 中间那一步实现，多了一倍的计算量，要改掉

3. 优化 cor.test()

http://cos.name/cn/topic/108682

这个计算量，建议找个好机器。

WANGXIANSHENG

非常感谢肖斑竹！还得再问您点问题，请赐教！

我看了一下链接，是否意味着xx<-t(x)后，再需要复制一个对象，这样采用2个MATRIX形式计算？

m1<-xx

m2<-xx

rm(xx)

pvalues <- apply(m1, 2, function(x) { apply(m2, 2, function(y) { cor.test(x,y)$p.value })})

但是这样方式好象还是很慢，我用

system.time(pvalues <- apply(m1, 2, function(x) { apply(m2, 2, function(y) { cor.test(x,y)$p.value }) })) 方式测试时间，好久好久都没出来，最后只有取消了。

system.time的结果是分钟还是小时啊？

我的电脑：Linux localhost.localdomain 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/Linux

此外，我计算的一个50000*50000的相关系数列表，文件大小16G，在R中中采用scan()读入，还是显得非常慢，有没有更快的读入速度方法？

读入完r后，想通过t <- sqrt(df) * r / sqrt(1 - r ^ 2) 的方式计算P VALUE，但是显示：无法分配大小为12.8 Gb的矢量。计算机配置不够啊，无奈！

nan.xiao

<br />
require(foreach)<br />
require(doMC)<br />
registerDoMC(detectCores())</p>
<p>idx = combn(1:nrow(x), 2)<br />
plist = vector('list', ncol(idx))</p>
<p>plist <- foreach (i = 1:length(plist), .errorhandling = 'pass') %dopar% {<br />
  xxx <- cor.test(x[[1, i], ], x[[2, i], ])$p.value<br />
}</p>
<p>pmat = matrix(0, nrow(x), nrow(x))</p>
<p>for (i in 1:length(plist)) {<br />
  pmat[idx[2, i], idx[1, i]] = plist[[i]]<br />
}</p>
<p>pmat[upper.tri(pmat)] = t(pmat)[upper.tri(t(pmat))]<br />

</p>

一次存多次取可以先 save() 存成二进制格式，再用 load() 读。