大规模数据处理基础之R使用RMySQL包

frank230

经常在网上看到，很多人问如何在R中如何连接数据库，尤其是如何使用RMySQL包的问题。这些问题主要分为两部分：一是安装不上；二是安装上了结果显示是中文乱码或者是问号。我当初也被这种问题困扰过一段时间，所以现在简单总结一下：希望能够帮助部分人解决问题。

首先如何加载RMySQL包：细分几个步骤：

1，安装R（哈，当然这一步很多人可以跳过了）

2，安装R tools，最好要和R是一个版本比如最新的R是2.15.0 R tools是Rtools215

链接：http://mirror.bjtu.edu.cn/cran/

3，安装MySQL(5.5)

4，在文件夹 C:\Program Files\R\R-2.15.0\etc中创建名为 Renviron.site的文件，并用记事本打开添加 MYSQL_HOME=C:/Program Files/MySQL/MySQL Server 5.5语句。

5，复制libmysql.lib and libmysql.dll（这两个文件在C:\Program Files\MySQL\MySQL Server 5.5\lib ）到文件夹C:\Program Files\MySQL\MySQL Server 5.5\lib\opt（没有该文件夹需要自己建立）

6，复制libmysql.dll（C:\Program Files\MySQL\MySQL Server 5.5\lib）到文件夹C:\Program Files\R\R-2.14.0\bin\i386中

7，打开R，开始安装RMySQL，install.packages('RMySQL', type = 'source');

链接：http://yixuan.cos.name/en/wp-content/uploads/2011/10/RMySQL_0.8-0_for_MySQL_5.5.16.zip

注意下载完，修改文件名为RMySQL_0.8-0.zip。

8，library(RMySQL)，这个过程之前还需要加载DBI包。

下面回答第二个问题

R中能否正确显示Mysql的中文字符记录，而不是乱码或者问号，和MySQL的配置有关。

有关mysQL配置的资料很多，我只简单介绍，如何设置。

正确安装完mySQL之后，输入命令行：

show variables like 'character_set_%';

显示你的mySQL的字符集环境

如果发现有字符集latin1则修改为gbk或者utf8

比如character_set_database 的字符集合为latin1

则可以通过 SET character_set_database=”gbk”;可以修改字符集。

我的简单方式是不管三七二十一，把所有的都修改为gbk。

这样设置完，我们就可以在R中调用操作数据库中的数据了。

假如安装mySQL时，设置user 为 root 密码是六个1，并且已经在mySQL中建立了一个名为test的数据库，里面有一个表hi，里面有三个字段是 name，age，sex

则在R中查询按照年龄降序排列的代码如下：

library(RMySQL)<br />
con=dbConnect(MySQL(),user="root",password="111111",dbname="test")<br />
table.names=dbListTables(con)<br />
fields.names=dbListFields(con,"hi")<br />
dbSendQuery(con,'SET NAMES gbk') # 注意该行代码是告诉通过什么字符集来获取数据库字段，gbk或者utf8与你当初设置保持一致。<br />
res=dbSendQuery(con,"select * from hi order by age")<br />
dat=fetch(res)<br />
dat<br />
dbSendQuery(con,"insert into hi values('阿明',28,'男')")<br />
res=dbSendQuery(con,"select * from hi order by age")<br />
dat=fetch(res)<br />
dat<br />
dbDisconnect(con)

</p>

因为我也遇到类似问题时，也得过很多人的帮助，所以为了其他人不在被同类问题困扰，我系统了归纳了一下，如果能够给到一些帮助，将非常高兴。如有不对之处，还请指正。

bjt

Windows环境下，个人建议通过mysql-connector-odbc这种方式，调用RODBC包里的函数处理。这样好处是比较通用，毕竟有时候会连接Oracle、DB2这样的商业库

Ihavenothing

精华帖不解释。[s:11]

ming_uld

感谢分享~

ruikoeln

if you are using Linux/Macintosh systems, install mySQL first, then just install RMySQL by typing

install.packages("RMySQL")

it is much easier.
</p>

yihui

回复第5楼的 ruikoeln：如果你用Debian/Ubuntu，更简单的办法是apt-get install r-cran-rmysql，自动解决各种依赖（ https://github.com/yihui/r-ninja/blob/master/01-setup.md ）

redevil

感谢分享，好帖子呀

iger

请教个问题，互联网的数据都是海量的，我用RMySQL读取了千万条数据，在运算的时候R扛得住吗？

nan.xiao

回复第8楼的 iger：类似于 Redis, 只要内存够，一般没问题。内存少，那就真不行。

iger

回复第9楼的 nan.xiao：以前做非互联网行业的分析，上万条差不多了，现在刚开始做互联网，还真是个问题。除了从内存角度解决，抽样也可以吧？

nan.xiao

回复第10楼的 iger：

嗯，看具体问题了。个人观点，能算还是都算吧。。。

有些问题利用技巧可以解决，参考邱怡轩在第五届 R 语言会议上的报告《R 中大规模数据的整理和分析》：

http://cos.name/wp-content/uploads/2012/05/4-qiuyixuan-bigdata.pdf

对于技巧也绕不过的问题，R 的可扩展性足够，通过升级硬件一般不难解决。这里有一个例子，使用 R 在 5 节点（各 16G 内存）的微型集群上做 12 亿观测的 Logistic 回归：

http://blog.revolutionanalytics.com/2011/07/fast-logistic-regression-big-data.html

硬件花费仅 5k 刀。而文中提到的 SAS HPC 使用的 Greenplum 集群则不是一般人负担得起的了。

cabbage2833

回复第6楼的谢益辉：如果是小红帽的嘞？

干裂的水

感谢本贴，无缘无故浪费了3个小时，终于看到这个帖子了。。傻傻的愣是不知道没有opt文件夹自己还可以建一个。。[s:12][s:12][s:12][s:12][s:12][s:12][s:12]。。以后常看帖！！！

practix

还可以参考这个帖子：http://stackoverflow.com/questions/4785933/adding-rmysql-package-to-r-fails

superdesolator

这个贴必须顶!

bourn

回复第1楼的 frank230：

那么比如我要对一个3G的csv文件中的某些变量进行分类汇总、生成新变量等操作，用RMySQL怎么实现呢？

是否是先把变量读到本地的mysql数据库中，然后再用mysql调用到内存中处理么？

helend

回复第16楼的 bourn

没有必要，直接读就可以了。3G的数据不是很大。

你有可以转换成Rdata的格式，估计只有300M。

如果你非要用数据库，存到sqlite中也可以。

guo.bailing

感谢分享，好东西

dengyishuo

回复第3楼的 Ihavenothing：安装过程的第7步，已经 install.packages('RMySQL', type = 'source');还下载你连接中的附件做咩用？

zjgslxh

好东西！