rtist
[quote]引用第19楼fu_neng于2006-12-20 10:55发表的“”:
这点 还真的没注意到在linux服务器运算时,设置使用上全部的cpu.请教一下你多核的如何设置?[/quote]你是说taskset ?这样基本上应该也是同一时刻只用一个cpu。
我一般需要显式使用mpi。
见lam,mpi,rspng,papply等等。
rtist
[quote]引用第18楼fu_neng于2006-12-20 10:52发表的“”:
例如估计ripley k 值的CI, 99%的置信水平需模拟100次[/quote]
100此还要找99%的区间,这根本就是开玩笑;一百次找bias或者sd也许勉强,不过也太勉强点儿了。
能用bootstrap找最大值么?理论上都不可能,那100次的99%percentile和最大之差多远?
areg
[quote]引用第21楼rtist于2006-12-27 23:17发表的“Re:求助!R函数调”:
100此还要找99%的区间,这根本就是开玩笑;一百次找bias或者sd也许勉强,不过也太勉强点儿了。
能用bootstrap找最大值么?理论上都不可能,那100次的99%percentile和最大之差多远?[/quote]
无论是理论上,还是实际操作中,该我学习的地方太多了,这久正潜水学习中,但愿过一阵,能给大家给来点礼物。
fu_neng
[quote]引用第21楼rtist于2006-12-27 23:17发表的“Re:求助!R函数调”:
100此还要找99%的区间,这根本就是开玩笑;一百次找bias或者sd也许勉强,不过也太勉强点儿了。
能用bootstrap找最大值么?理论上都不可能,那100次的99%percentile和最大之差多远?[/quote]
这个可查证生态学杂志:<植物生态学报> "植物种群空间分布的点格局分析"-张金屯, 不要太轻易否定
fu_neng
[quote]引用第20楼rtist于2006-12-27 23:12发表的“”:
你是说taskset ?这样基本上应该也是同一时刻只用一个cpu。
我一般需要显式使用mpi。
见lam,mpi,rspng,papply等等。[/quote]
搞不清linux上具体怎样设定两cpu同时用上提高速度的
rtist
[quote]引用第23楼fu_neng于2007-01-13 22:36发表的“Re:Re:求助!R函数调”:
这个可查证生态学杂志:<植物生态学报> "植物种群空间分布的点格局分析"-张金屯, 不要太轻易否定[/quote]
学术界从来都是不轻易肯定,而不是不轻易否定,特别是和已有理论有冲突的时候。
发表的文章比不代表他发的就是对的,paper里面有统计错误的多~~~~~~~~~了去了。
中文文章可靠度更低。
至于为什么100次找到的99%CI不可信,可以参见efron的书。
fu_neng
[quote]引用第25楼rtist于2007-01-14 03:17发表的“Re:Re:Re:求助!R函数调”:
学术界从来都是不轻易肯定,而不是不轻易否定,特别是和已有理论有冲突的时候。
发表的文章比不代表他发的就是对的,paper里面有统计错误的多~~~~~~~~~了去了。
中文文章可靠度更低。
.......[/quote]
这是就因模型而异了, ps: 那篇文章此结论并不是张本人的论断,而是文中引用K function 原作者ripley的结论,这结论在中外期刊里都是公认的,许多文章也是引用了此. 除非你能用证据证明该模型运行100次找不到99%CI,否则不能依照其他模型的一般论据而说他错, 另外你能证明原作者是错的话,那基本上都可发很高影响因子的文章了.
rtist
用100次找的可能性,估计只能借助其他假定,比如用normal,然后bootstrap仅仅提供一个方差估计,这是恐怕是所有bootstrap interval里面最没人用的方法了。它前提必须要求已知统计量的分布形式才可以,但是由于Fisher information matrix难以求逆等原因不能用,这才借助bootstrap。如果我以上猜得没错的话,那么用这种特例说明问题的价值不大,因为这种情况下bootstrap仅仅用来估计方差,而不是CI。另外一种可能是,你说得100次是double bootstrap外层的100次,内层的没算进去。别的可能性我实在想不出来了。
说中外公认,就应该给出真正得到公认的文献来,而不是一个什么《植物生态学报》上的文章。我没说过这是错的,我只是说100次得到的99%CI是在开玩笑,因为越接近100%需要的次数越高,这和错是两回事,因为你用2次都能估计出来,只是没人相信2次得到的CI。
fu_neng
你讲的是bootstrap 估计CI, 我举的例子是k function的估计CI,其中并非用你说的bottstarp方法.
源文献是
R ip ley B. D. , 1977:Modelling spatial pattern, Journal of the Royal statistical Society. Series B, 39: 17~ 212.
Ripley B. D, 1981: Spatial statistics, New York: Wiley.
rtist
efron在79年才正式发表bootstrap,当然这个idea有可能要早几年。似乎不太可能77年ripley就开始应用bootstrap了吧??
后一本是书啊,麻烦你 请告知哪一章节(最好是页码)说了100次就够用的?
btw: 第一篇文献的页码应该是171-212,不是17-212。
rtist
[quote]引用第24楼fu_neng于2007-01-13 23:18发表的“”:
搞不清linux上具体怎样设定两cpu同时用上提高速度的[/quote]
用BOOTSTRAP这样的例子来说,可以实现EMBARRASINGLY PARALLEL,每个CPU各自抽B/2次然后合并结果。R中绝大多数都是EMBARRASINGLY PARALLEL的。
最简单的办法是,直接开两个R;
稍微正规一点的办法是,装上LAM-MPI,然后用SNOW;
最快的办法是,直接写并行计算的CODE,不过当然不是用R写了。
任何一种情况下,都要注意随机数的问题(除非算法不需要随机数),比如借助SPRNG解决。
areg
100次是不是够了?
我数理基础不是太好,不敢发言,在S-PLUS7.0中bootstrap,默认要求是1000次,如果是学习中练习使用,可以设为250次来练习,以节约时间.
换句话来说,练习中使用250次,都仅仅是练习使用,那100次应该是不够的了.insightful公司把默认的设为1000,那它们公司的技术员应该对此问题还是比较慎重的.
fu_neng
我举的例子是ripley 1977年他用k function的方法来拟合的,不是efron在79年才正式发表bootstrap方法, 另外那篇文献我漏沾一个2字了, 应该是172-212页, 他那篇文献中拟合是用了99次的模拟来确定kenv CI, 文献里提到了好几处.书本那本内容和该文献相似.
fu_neng
[quote]引用第30楼rtist于2007-01-14 15:36发表的“”:
用BOOTSTRAP这样的例子来说,可以实现EMBARRASINGLY PARALLEL,每个CPU各自抽B/2次然后合并结果。R中绝大多数都是EMBARRASINGLY PARALLEL的。
最简单的办法是,直接开两个R;
稍微正规一点的办法是,装上LAM-MPI,然后用SNOW;
.......[/quote]
snow包?