[未知用户] 这样看来可能是REvolution对连接(?connection)的处理还有所欠缺,R里面很多函数都支持各种连接,通过文件名访问文件只是最基础的一种,其它方式包括socket、URL、gzip等。我猜的话,source('test.t')应该是可以运行的。

  • ryo 觉得很赞
[未知用户] 当时我要提自己事情主要是担心只报了上海而不能参加北京活动(不规则的参与者的行动或给组织者造成了麻烦)。我在统计学领域还只是幼儿园级别,特别感谢各位能够提供机会让我能够学习。
[未知用户] 哦,谢谢相告,我之前还搜了好半天邮件,人名和ID对不起来了。也谢谢lyxmoo的热心支持!
10 天 后
用R做像EM之类的处理通常很痛苦。问题就在循环、四则运算、拷贝等问题上面。因为R语言是变量和LISP语言一样,是一张表(当然也可以描述成树)。
普通的一个
A<-matrix(runif(100),nrow=10);

B<-A

for (i in 1:10) {for (j in 1:10) B[i,j]=A[i,j]}
可是差得太多的。虽然,如果写成Fortran或者C++,那是一样的东西。问题出在R是解释语言,不是编译后的东西(Python的速度可能要例外)。
可以想见的结果就是通常的代数运算会很慢。通常的速度问题出现在矩阵操作上。

至于使用较为底层的C/C++,F/F99,Pascal等,问题在于代码有的时候非常难写。比如说高维矩阵求逆,或者稀疏矩阵求广义逆等,这些是都是非常麻烦的。要牵涉到很复杂的算法、精度控制等(比方说双double精度)。

R提供了一个很好的接口。R本身也是通过调用Lapack/BLAS等的功能完成上述矩阵的。但是这一点是操作系统相关的。上述的库在Win平台上是很麻烦的,甚至很多功能不兼容。比如(c)BLAS至今有很多功能也不能和VS2005等Win上主流C/C++编译器兼容。所以,打开R的etc,我们发现实际上用的是GCC完成代码编译的(编译选项是 -O2, 会的同学可以试图改成 -O2 -march=[视CPU而定]。运算速度有时能提高不少。 )

所以我的建议是,在进行这种复杂操作时:
1. 底层语言和R语言混合编程,事实上,同样的问题存在于Octave/Matlab(R)上面;
2. 重要项目用LAPACK等开源库完成代码,写成R的包;
3. 如果能换平台,用Xuinx类系统,这样执行效率要高很多,也能突破内存限制。
2 个月 后
在R2.10里面貌似循环速度大大加快,只比apply慢了300%,几分钟时间完全可以接受了。
我机器,笔记本酷睿2 t7300 主频2.0GHz 内存ddr2 667 2G
也搞了18万行的循环做个小测试

> b=rep(0,1800)#这里当时打错了,不过R能自动扩展向量长度的嘛
> a=matrix(rnorm(900000,10,1),nc=5)
> system.time(for(i in 1:180000){b=t.test(a[i,])})
用户 系统 流逝
331.36 2.49 339.83
警告多于50个(用warnings()来显示第一个到第五十个)
> system.time(b<-apply(a,1,t.test))
用户 系统 流逝
102.81 0.06 103.20

现在看来已经没有几个小时那么夸张了嘛,多等两分钟问题不是很大吧。这时候程序可读性貌似更重要,因为自我感觉向量化会让语句看起来比较累,然后这样可以把精力放在解决具体问题上而不是如何搞向量化......我是菜鸟了,意见仅供参考。
    [未知用户] 补充一点,系统是xp sp3。 类似测试在fedora 12下也进行过,结果依然类似。
    2 个月 后
    简单来说,R底层基本上都是C做的,调用的库也是久经考验的。
    程序运行的效率核心在于对语言提供的功能十分有足够的了解和体会,如果把base包中的内容认真仔细的通读下,再掌握常见运算的核心所在,相信就不会抱怨工具的问题——相对来说R对计算方面考虑的已经非常好了。
    1 年 后
    嗯 尽量避免通过R来对大量数据进行预处理 数据的一些预处理可以交给C或者Java 而用R只进行实验计算等
    5 年 后
    请问dependent iteration(原谅我中英夹杂,因为我不知道怎么正确翻译)有什么好的解决方法了吗?实在是不想写for循环啊
    2 年 后

    第一次发现还有这么个变量.Platform$dynlib.ext?

    3 年 后

    第一次做运行时间超过1分钟的项目,于是开始搜索”如何提高R计算速度“,考古挖出这篇。

      跑了一下十年前的代码

      zong0jie

       b=rep(0,1800)#这里当时打错了,不过R能自动扩展向量长度的嘛
       a=matrix(rnorm(900000,10,1),nc=5)
       system.time(for(i in 1:180000){b=t.test(a[i,])})
      #用户 系统 流逝 
      #9.67 0.06 9.84 
      
      system.time(b<-apply(a,1,t.test))
      #用户  系统  流逝 
      #11.78  0.25 12.09 

      一个粗糙的结论是十年过去了电脑快了10-30倍

      KANG1943 测试了一下将所有for循环结构改成apply语句后的计算速度变化。因为不知道如何描述一个代码的复杂程度,只能说一下测试代码长什么样:1000行代码,300个变量,包含60个循环结构。for结构下运行5次的时间为145.00秒,apply语句下为133.94秒,后者较前者快了11.06秒,即每次运行快2.21秒……总之还是快了,而且就像任何对比实验的阴性结果一样,这告诉我说循环结构不是这段代码中最占用时间的环节。

      不知道用现在的data.table代替data.frame是否能提高运行速度呢?