关于64位R的内存使用限制问题

wilsonwanzhe

在使用RStudio Server时遇到了一个问题,对两个特别大的数据做merge(dt1,dt2,all.x=TRUE)

结果出现了错误,报错是不能创建4G的对象

系统环境是Centos6.7 64位,内存是64G,可用内存大概还有30G
sessionInfo信息如下:

> sessionInfo()
R version 3.1.2 (2014-10-31)
Platform: x86_64-redhat-linux-gnu (64-bit)

在网上查询了一圈,还是没找到在R中如何设置可用内存的配置方法

请问有遇到同样问题的吗?

wilsonwanzhe

补充一下错误信息是 cannot allocate vector of size 4.0 Gb

brightbird

可参考R的内存管理和垃圾清理

ryo

[未知用户]

多余的obj可免则免，rm(x)...

测试过 merge()、merge_all() 与 rbind()、rbind_all()和 do.call(data, rbind)
结果system.time(rbind_all(data))最快合并多数据框。

倘若文件太大的话，就是用ff程序包。 ;-)

enthumelon

我就是很奇怪我问什么不能在这个问题下回答问题

ff/data.table 包应该可以解决 data.table::merge()
Linux 下如果不能分配就真的不能分配了，当然你可以gc十次并且可能要刷新系统内存
（比如如下丧病的事情：/ b i n / e c h o 1 > / p r o c/s y s/v m/d r o p _ c a c h e s）

这当然是因为Linux类惰性释放内存以及R隐藏了gc特性。

注意的要点在于：

1. R支持的vector长度： R Internal: Long-vectors

2. data.frame不是vector，但是操作更慢（因为[.data.frame很特殊的不是primitive function)，需求空间更大(数据框自然比矩阵大）

3. data.table 用的黑科技就是不直接对data.frame进行操作...

-----------
不能回答问题的原因我找到了：code标签不能使用，或者说用了那个黑科技的刷新linux内存的玩意儿我一提交就直接404了