利用snowfall包并行读取mssql数据出错

daigazi

<br />
library(RODBC)  # connect the database<br />
myconn<-odbcConnect("xxxx",uid="sa",pwd="admin")<br />
ff=function(tab,i,myconn){<br />
  library(RODBC)  #利用snowfall包，必须重新加载一次，好奇怪！！！<br />
  temp=sqlQuery(channel=myconn,query=paste("select top 10 * from ",tab[[i]],sep=" "),<br />
                stringsAsFactors=F)<br />
  return(temp)<br />
}</p>
<p>tab=sqlTables(myconn)$TABLE_NAME[20:21]<br />
tab=strsplit(tab,split=" ")<br />
tab<br />
#tab是一个列表<br />
[[1]]<br />
[1] "boutlist201201"</p>
<p>[[2]]<br />
[1] "boutlist201202"<br />
library(snowfall)<br />
sfInit(parallel=T,cpus=2)<br />
l=sfLapply(seq_along(tab),FUN=ff,tab,myconn)<br />
#Error in checkForRemoteErrors(val) :<br />
#  2 nodes produced errors; first error: first argument is not an open RODBC channel<br />
sfStop()</p>
<p>lapply(seq_along(tab),FUN=ff,tab,myconn)<br />
#最后，甚至用lapply也不对，报错提示：<br />
#Error in tab[[i]] : attempt to select more than one element<br />

难道是我对lapply的理解不对吗
</p>

zggjtsgzczh

回复第1楼的 daigazi：

我建议你先测试一下相关包在极端情况下访问数据库的成功率，然后再考虑如何处理数据导入的问题，比如成功率低于预期时，可考虑集中提取，然后并行计算。或者分批提取，然后设置数据完整性验证机制来保证计算结果的可用性。:)

依据你的需求环境，写个小循环，统计不同数据库包的性能指标即可。如果可能，把报告贴出来。[s:17]

ps::而且，你似乎没有一个访问数据库的好习惯，就是每次访问后至少要关闭一下连接。具体情况看odbcCloseAll()和odbcClose()函数帮助。否则，即使在低频率数据库查询中也会产生查询错误。

daigazi

回复第2楼的 zggjtsgzczh：

我的这些代码就是提取一定条件的数据到R里。我原先是用for循环的，其实速度应该还可以的，毕竟只有一层循环，且循环次数=12。我这样写就是最近学习了一下并行包，觉得可以拿来尝试一下。

我写了这段代码之后，我的疑问是：

1）倒数第一行的lapply用法不应该有错啊（用seq_along(tab)而不是tab这一个google了才会）

2）snowfall包，为什么要需要重新加载RODBC包，另外，myconn明明是可用的，结果还不能通过

对于您的回答，我其实没看懂。

极端情况——不理解什么叫极端情况

完整性验证机制——怎么验证，并行会出现遗漏吗，有什么相关学习资料吗？

望指导哈！

zggjtsgzczh

极端情况——对单张数据表并发查询（或单一或不同多个数据库的多张表），或以某指定时间间隔连续查询。查看其在不同情况下的错误率，从而选择适当的访问方式。

完整性验证机制——无论你数据是否调用成功，均有一个指定代码段来验证指定数据特征是否满足，然后进入到下一个数据分析处理阶段。否则，跳出并给出错误代码或错误信息。

你的这个情况，个人认为可能是没有正常关闭odbc查询联结，见我2#楼的又及。

daigazi

回复第4楼的 zggjtsgzczh：

您提到我没有关odbc查询连接，这个改过来之后，错误和lapply一样了。半天之后才找出来lapply错误的原因。现在反正是改好了，3Q！

ps:

system.time(OD_volume_snow <- sfLapply(1:length(tab),fun=ff,data=tab))

user system elapsed

0.03 0.01 1776.41

这个流逝时间怎么这么长，数据量确实比较大，可是这三个时间差的也太多了吧。我还看论坛里有人说大部分时间下user=system +elapsed

极端情况——对单张数据表并发查询（或单一或不同多个数据库的多张表），或以某指定时间间隔连续查询。查看其在不同情况下的错误率，从而选择适当的访问方式。

~~~这个是说如果用并行查询（？=并发查询）的话，查询结果可能会少了一部分数据吗？

完整性验证机制----这个是自己写代码来实现吗

zggjtsgzczh

回复第5楼的 daigazi：

仅就RODBC包来说，它使用的是ODBC数据库接口规范。而这个接口是一个普遍接口，并不针对特殊的查询程序提供所谓的性能优化或特殊设置。也就是说，RODBC只能去适应ODBC，而不会发生ODBC适应RODBC。这样就形成一个技术瓶颈。

比如：如果在R下使用并行程序通过RODBC并发查询数据库，而并发的每个查询都占用一个ODBC channel。那，如果我关闭一个查询channel，是否会影响其他channel。换句话说，并发查询中多个channel是怎样的关系，我们不是太清楚。同时，数据库方面的MAXDOP也会限制R所提交的并行查询作业(i.e.http://support.microsoft.com/kb/2806535/zh-cn)。

因此，如果希望并行查询数据库应综合考虑并进行相应测试，而不应仅仅认为R可以并行那么数据库也可以并行。如果snowfall是千里马，那么你要保证RODBC是伯乐。

具体到查询结果的完整性以及验证机制其实是建立在对“R并行-RODBC查询->ODBC查询->Database->table->ODBC查询->RODBC查询->R”这一处理流程分析后推断出的可能的错误发生机制。它是一种面向可预见的错误风险的应对策略，而后转换为代码予以应对的过程。[s:17]（当然你要写代码，小项目无所谓，如果你要为你所构建的数据分析模型和结果承担责任，那你最好考虑这一纠错机制——机器不会犯错，因其没有对错的定义）

ps:处理问题要结构性分析，分部分处理。首先有一个通用的设计框架，然后才是面对不同的具体需求进行细节性实现，或者说分解过程。本例，你就是在测试数据提取和数据组织的部分（它属于实现模型部分）。其实数据分析更多的是考虑：构建模型+实现模型+评估模型=最优选择

zjgslxh

好贴！

mian

楼主你好，在sfLapply(seq_along(tab),FUN=ff,tab,myconn)

中 FUN函数有要求吗？数据有要求吗？

ps：我是一个R初学者利用R计算时单线计算要好几个月，所以想要优化code，采用多线程希望能提高速度

谢谢

daigazi

回复第8楼的 mian：

擦泪，几个月。。。。

多线程的话，首先得保证这个事能并行化，然后FUN就是每一个独立的工作，没什么特别要求。你多试验下就会有体验的。