[求助]怎么做并行计算？[及R与sas的比较]

rtist

比如有一个数据集，想用1000个不同的备选model来分析，有8个CPU。怎么能让8个CPU同时fit不同的model呢？（model之间互不干扰）

http://support.sas.com/onlinedoc/913/getDoc/en/lrcon.hlp/a002283775.htm

里面好像只说有些proc可以自己做多线程运算，可没说用户应该怎么实现并行运算啊？？

当然可以生成1000个sas程序，然后每次提交8个，可这不是SAS在并行而是操作系统在执行多任务阿？

rtist

好像应该用sas/connect，刚刚开始看文档。。。

rtist

原来就对sas macro没好感，费了一天劲儿写出来了个最简单的并行计算（其实才一半，因为剩下的都用R做了），现在好像更没好感了。。。

感觉这样的并行和写一个shell script是一样的，反正大家都是多开几个进程，别的似乎也没啥优势，而且好像任何语言的宏的debug难度都比runtime的code高。。。

可能用sas/connect在最后把数据汇总的时候会方便点，不过我还是喜欢用R来做剩下的部分了。

<br />
libname mydir '~/embryo/all.possible.models/';<br />
<br />
/* setting needed options */<br />
options autosignon;<br />
options sascmd='nohup nice sas ';<br />
options NOCONNECTWAIT ;<br />
*options NOCONNECTPERSIST ;<br />
options CONNECTPERSIST ;<br />
<br />
/* setting debugging options <br />
options mlogic;<br />
options mprint;<br />
options symbolgen;<br />
*/<br />
<br />
/*%let maxjob=4;          *maximum number of jobs that can be run simultaneously;*/<br />
/*%let totjob=405;        *total number of jobs that need to be run;*/<br />
<br />
%macro submitmaxjob (maxjob=4,totjob=405);<br />
    %let job=0;<br />
    %let njob=0;<br />
    %do i= 1 %to &maxjob;<br />
        %let p&i.stat=.v;       /* local equivalent of job&i.stat */<br />
    %end;<br />
    %do %until(&job >= &totjob);<br />
        %do i=1 %to &maxjob;<br />
            %if &&p&i.stat eq .v %then %do;<br />
                %let job=%eval(&job+1);<br />
                %let njob=%eval(&njob+1);<br />
                /********* submitting jobs to the so-called server ******/<br />
                signon job&i CMACVAR=job&i.stat ;/* cmacvar is the status of the job */<br />
                %syslput job=&job /REMOTE=job&i ;/* passing parameters to the server */<br />
                rsubmit job&i SYSRPUTSYNC=YES inheritlib=(mydir);<br />
                    options nonotes errors=0;<br />
                    %include "model.&job..sas";  /* sas prg for each model, parsed locally */<br />
                endrsubmit;<br />
                %let p&i.stat = &&job&i.stat ;   /* make a local copy of the job status */<br />
                %goto endrsub;<br />
            %end;<br />
        %end;<br />
<br />
        %endrsub:<br />
        %if &njob=&maxjob %then %do;            /* reached max. allowable jobs, wait for next vacancy */<br />
            waitfor _ANY_ %do i=1 %to &maxjob;<br />
                            job&i <br />
                          %end;;<br />
            %do i=1 %to &maxjob;<br />
                    %if &&job&i.stat<2 %then %do;<br />
                        %let njob=%eval(&njob -1);<br />
                        %let p&i.stat=.v;<br />
                        %let job&i.stat=;<br />
                        signoff job&i;<br />
                    %end;<br />
            %end;<br />
        %end;<br />
    %end;<br />
    waitfor _ALL_ %do i=1 %to &maxjob;<br />
                     job&i <br />
                  %end;;<br />
    killtask _ALL_;<br />
%mend submitmaxjob;<br />
<br />
<br />
%submitmaxjob (maxjob=4,totjob=405);<br />

hexm26

你的SAS编程水平这么高了，还在抱怨SAS的不好？我以前一直用的是R/S-plus，现在不得不用SAS，感觉SAS也是挺好的，至少在处理大型数据上还是要比R/S-plus快很多。

rtist

[quote]引用第3楼hexm26于2007-07-24 09:29发表的“”:

你的SAS编程水平这么高了，还在抱怨SAS的不好？我以前一直用的是R/S-plus，现在不得不用SAS，感觉SAS也是挺好的，至少在处理大型数据上还是要比R/S-plus快很多。[/quote]

我连门还没入呢，上面的程序是我这辈子第一个sas macro。

我觉得sas最吸引我的地方是by statement，这在很大程度上替代了宏的使用。by用底层代码完成一些常见的循环，这要比R的by function效率高。如果用macro写同样的使程序，sas估计应该没有R快，毕竟R的数据都在内存中，sas还要进行很多读盘操作。但是把所有数据都放在内存中的弊端就是大数据的内存占用过大。如果操作系统允许且内存足够大的话，就算处理大数据，R仍然是我的首选。

R的另外一个好处在于，至少在我熟悉的领域，世界上最新的统计方法，几乎首先都是用R/S来实现的，SAS在这个方面明显要落后一大步。一个简单的例子就是lasso，十多年前就已经发明的方法，就已经用s-plus实现过的东西，直到最近才在glmselect里面出现。

SAS好像崇尚一切都用自己公司的东西，连C complier都自己写了一个，我不知道除了商业因素之外，这样做还有没有别的好处。相比之下，R则开放很多。

SAS的macro是一种很高级的（相比C来说）但是很过时的编程语言——从它那个众所周知的cards语句就能看出来，这个东西诞生于在卡片上打眼来输入数据的时代。这几乎与现代编程模式所崇尚的模块化、对象化、结构化思想并不吻合。而R则更全面的支持面向对象的编程，但R并不像java那样过于死板的面向对象，R同时也支持其他编程paradigm的存在，whatever works best for a particular problem.

fire_cpp

听说Scilab对并行计算的支持很好。

hexm26

[quote]引用第4楼rtist于2007-07-25 14:30发表的“”:

我连门还没入呢，上面的程序是我这辈子第一个sas macro。

我觉得sas最吸引我的地方是by statement，这在很大程度上替代了宏的使用。by用底层代码完成一些常见的循环，这要比R的by function效率高。如果用macro写同样的使程序，sas估计应该没有R快，毕竟R的数据都在内存中，sas还要进行很多读盘操作。但是把所有数据都放在内存中的弊端就是大数据的内存占用过大。如果操作系统允许且内存足够大的话，就算处理大数据，R仍然是我的首选。

R的另外一个好处在于，至少在我熟悉的领域，世界上最新的统计方法，几乎首先都是用R/S来实现的，SAS在这个方面明显要落后一大步。一个简单的例子就是lasso，十多年前就已经发明的方法，就已经用s-plus实现过的东西，直到最近才在glmselect里面出现。

.......[/quote]

嗯，这要看你处理多的数据了。我虽然不是很明白SAS的内部语言机构（SAS是据说用C写的），在处理数据时是用的矩阵行算法，比如一个上百万行的数据，SAS是逐行处理，嗖嗖的几秒钟就能运行出好几个模型结果；而在同一台机器上用S-plus（R可能会好点），半天都出不来，甚至会死机。这是我曾经做纵向数据分析时的亲身体会。

R其实更符合自由和开放的精神，世界上有很多统计学家不遗余力的将最新成果运用到R的扩展包里去（他们似乎非常热衷于此）；而SAS更像个官僚机构，将新方法加入到最新版的SAS里去，要反复测试和研究，以保证结果的准确性，所以说虽然没有想R那么前沿，但稳定性和可靠性是最强的，也就造成SAS是唯一的FDA认定的统计软件。

你说的那个cards，SAS早就想给抛弃了，现在的官方公布的程序一律是datalines。呵呵，其实两个是一回事，就是时髦一点而已。

robustreg

高人，听说connect可以做并行计算，正在打算做一些大运算量的东西(total permutation一类的)，不知道sas里面是不是很麻烦，有人推荐用fortran的send什么的来写，好麻烦哦，，，

rtist

如果想枚举出全部的permutation，在并行计算上应该没有什么难的，因为每个permutation下对统计量的计算都是独立的，稍微难一点的就是怎么枚举能比较快了，因为有很多permuation相互之间是等价的；如果不枚举全部可能性而作monte carlo的话，在并行计算上要注意同一台机器内的随机数的生成通常是不独立的，如果每个机器只有一个cpu那么影响不大，但是最好也能够协调不同机器间的随机数生成。

robustreg

是滴，是滴

kuhasu

rtist ,you come to SAS

rtist

[quote]引用第10楼kuhasu于2007-07-31 23:37发表的“”:

rtist ,you come to SAS [/quote]

Well, it doesn't mean I like it, nor do I prefer SAS to R. I used it because I didin't get the permission to install an R on one of the computers. In R, once lammpi is properly configured, such parallelism is trivially easy.

kuhasu

And now,I start to believe you are right!

SAS is too huge ,sometimes with low efficiency

yihui

难得啊难得啊，楼上居然能说出这样的话，终于不再SAS帝国主义了：）

kuhasu

But SAS 9.1.3 /BI platform is still better than R in Data Mining on average

rtist

[quote]引用第14楼kuhasu于2007-08-04 22:27发表的“”:

But SAS 9.1.3 /BI platform is still better than R in Data Mining on average [/quote]

正如前面说的glmselect那个例子，我觉得搞统计的人做的data mining/machine learning的前沿研究基本上都在用R或者S在做，我自己很少见到用sas的；搞计算机的人做这个就用什么的都有了。

rtist

[quote]引用第13楼谢益辉于2007-08-02 02:28发表的“”:

难得啊难得啊，楼上居然能说出这样的话，终于不再SAS帝国主义了：）[/quote]

也许也像微软一样，是个拥有技术基础的商业帝国，历史上曾经对普及与发展做出了重大贡献。

RyanPCH

可是感觉很难上手

muwatuo

一头雾水