首先感谢COS论坛同意我在这篇水文中用RCurl做一些简单的演示，但由这些功能的延展而给COS论坛造成的任何损失或破坏，请各位自己负责。一、 RCurl 是什么混迹于各大社区，经常会看到关于浏览器之争的口水战：某某浏览器的市场份额如何如何，某某浏览器的速度如何如何，某某浏览器支持的功能多么强大等等。各个网友也根据自己的喜好，将自身归档于某某浏览器阵营，以此找些心灵的归属。估计类似的口水之争将永远的进行下去（是啊，不然闲着干什么呢？）。如果换个角度看这些争论，也正反应出浏览器在大家日常生活中的地位：想想每天坐在电脑前，用的最多的软件是什么呢？但是提到浏览器阵营中的 cURL ——一款杀人放火、居家旅游必备的命令行浏览器，则普及率要不少。可它的功能绝不逊色于我们日常用的各大浏览器。 R 的 RCurl 包是对cURL库—libcurl的封装。感谢 Duncan Temple Lang 等牛人的无私工作，我们才可以在R中运用cURL，将R和cURL这两大开源利器的优势完美的结合到一起。二、用 RCurl 浏览网页想想我们平时绝大部分时间是怎么用浏览器的？第一步：打开自己钟爱的那款浏览器；第二部：输入某个网址，如 http://cos.name/ ；第三部：回车；第四步：拖拖鼠标，看自己想看的东西；第五步：点进某个链接，接着看。在关注呈现的信息的时候，大多数人都不大会去关心上述的5步（或者更多步）中浏览器（客户端）和网站（服务器端）是如何工作的。其实客户端和服务器端一直在保持联系：告诉对方想干什么，是否同意等等内容？比如我们浏览 http://cos.name/ 时，浏览器给服务器端提交了如下的一些内容： GET /HTTP/1.1 Host:cos.name User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language:en-us Accept-Encoding:gzip,deflate Accept-Charset:GB2312,utf-8;q=0.7,*;q=0.7 Keep-Alive:300 Connection:keep-alive 通过上面的头信息，浏览器除了告诉 COS 服务器想浏览哪些内容，还告诉对方用了什么浏览器、想要什么样的数据格式、用什么协议/方法接收等非常细节的内容。COS服务器收到这些请求后，同样会提供一个物品清单： HTTP/1.x200 OK Date:Fri, 01 Jan 2010 13:11:20 GMT Server:Apache/2.2.14 (Unix) X-Powered-By: PHP/5.2.11 X-Pingback: http://cos.name/xmlrpc.php Vary:Accept-Encoding Content-Encoding:gzip Content-Length:13973 Keep-Alive:timeout=10, max=30 Connection:Keep-Alive Content-Type:text/html; charset=UTF-8 通过这个清单，COS服务器告诉客户端：服务器是什么配置、你的协议我接受了、我给你的内容是什么格式等等信息。当用RCurl这款客户端时，我们需要一一配置提交给服务器的内容，所以不妨先随心所欲、照葫芦画瓢的模仿一下上面的头信息： myHttpheader<- c( "User-Agent"="Mozilla/5.0(Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)", "Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language"="en-us", "Connection"="keep-alive", "Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7" ) 然后可以运用getURL函数实现cURL的网页浏览： temp<- getURL("http://cos.name/",httpheader=myHttpheader) 返回值temp为一个字符串，其实就是我们用普通浏览器的“页面另存为”->“html文件”中所包含的内容。如何看getURL的头信息呢？不妨再多设定几个RCurl的参数： d =debugGatherer() temp<- getURL("http://cos.name/",httpheader=myHttpheader, debugfunction=d$update,verbose= TRUE) 此时d中包含了你所要的信息，其中： cat(d$value()[3]) 中为RCurl提交服务器的头信息，而 cat(d$value()[2]) 中为服务器端返回的头信息。看看跟正常浏览器的交互内容是不是一样呢？怎么看一般浏览器的头信息呢？如果你用Firefox的话，用扩展 Live http headers 就可以了。三、 RCurl 的 Handles 在RCurl的目前版本中，有170多个(!!!!!!!!!)cURL系统参数可以设置，具体可以用 names(getCurlOptionsConstants()) 查看一下，各个参数的详细说明则可以参照libcurl的官方说明文档。如此众多参数，如果每次都设定，是不是会非常的繁琐？幸好在RCurl中有一个非常强大的功能可以有效的解决这个问题：那就是cRULhandles（当然，cRUL handles的优势不止这一个）。cRULhandles类似于行走江湖的一个百宝箱：根据自己的喜好设好后，每次背箱出发就行了。同时cRULhandles还根据客户端、服务器端参数的设定在动态的变化，随时更新内容。如下便定义了一个最基本的cRULhandles： cHandle<- getCurlHandle(httpheader = myHttpheader) 在getURL中可以如下应用： d =debugGatherer() temp <- getURL("http://cos.name/", .opts = list(debugfunction=d$update,verbose = TRUE), curl=cHandle) </pre> 此时，cHandle中的cRUL系统参数debugfunction、verbose均发生及时的更新。四、用 RCurl 实现直接登录上面提及的getURL函数仅仅实现了页面浏览的最简单功能。如果想用RCurl登录到某个网站（如http://cos.name/bbs/）怎么实现呢？还是继续看看你在正常登录过程中，客户端提交给服务器端的信息吧，然后照葫芦画一个。 http://cos.name/bbs/login.php ? POST/bbs/login.php? HTTP/1.1 Host:cos.name User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)Gecko/20091201 Firefox/3.5.6 Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language:en-us Accept-Encoding:gzip,deflate Accept-Charset:GB2312,utf-8;q=0.7,*;q=0.7 Keep-Alive:300 Connection:keep-alive Referer: http://cos.name/bbs/login.php Content-Type:application/x-www-form-urlencoded Content-Length:110 forward=&jumpurl=http%3A%2F%2Fcos.name%2Fbbs%2F&step=2&lgt=0&pwuser=yourname&pwpwd=yourpw&hideid=0&cktime=31536000 这个头信息的核心就是客户端用POST方法给 http://cos.name/bbs/login.php ?提交了一个字符串（即头信息最后的两行，其中包含了你的用户名和密码），请求服务器端给予身份认证。至于为什么提交那么稀奇古怪的一串字符，就要问谢老大了：）。如果要让RCurl提交相同的字符串，需要将上面的那段关键字符串转变成如下的格式： c(name1=”info1”,name2=”info2”,…)。字符串的处理工作交给R就行了： myPost<- function(x){ post <-scan(x,what="character",quiet=TRUE,sep="\n") abcd=strsplit(post,"&")[[1]] abc=gsub("(^.*)(=)(.*$)","\\3",abcd) abcnames=gsub("(^.*)(=)(.*$)","\\1",abcd) names(abc)=abcnames return(abc) } postinfo<- myPost("clipboard") 然后用RCurl中的postForm函数，将postinfo提交给服务器： temp<- postForm("http://cos.name/bbs/login.php?",.params=postinfo, .opts=list(cookiefile=""),curl=cHandle,style="post") 用 cat(d$value()[2]) 查看一下cos.name给你的客户端反馈了那些内容？作为登录认证的cookies是不是已经在里面了？到这一步，RCurl已经成功的登录到 http://cos.name/bbs/ 了，需要的一切认证信息都已经记录到百宝箱cHandle中了。用 getCurlInfo(cHandle)[["cookielist"]] 看看你想要的cookie是不是在那里了？接着用cHandle登录一下 R子论坛吧，验证一下你是否真正的成功了？ temp<- getURL("http://cos.name/bbs/thread.php?fid=15", curl=cHandle,.encoding="gbk") 五、用 RCurl 实现间接登录由于“ 这事儿不能说太细 ”，我们有时候不能用上面的方法来完成RCurl登录认证。那能不能让RCurl来使用其他浏览器客户端与服务器端已经建立好的认证呢？答案是可以尝试一下的：）所谓的认证信息一般就是服务器端在你的浏览器里面写下的cookies，把他们导出来交给RCurl，RCurl同样可以做好你需要的cURLhandle。先用你的常规浏览器（此处假定为Firefox）正常登录到 http://cos.name/bbs/ ，然后再用Firefox的扩展Firecookie看看当前页面的cookie信息：你需要的就是它们了。将这些cookie信息导出成RCurl 能够识别的格式，然后提交给RCurl就万事大吉了。 d2 =debugGatherer() cHandle2<- getCurlHandle(httpheader=myHttpheader,followlocation=1, debugfunction=d2$update,verbose=TRUE, cookiefile="yourcookiefile.txt") 接着去cos.name的 R论坛看看： temp<- getURL("http://cos.name/bbs/thread.php?fid=15", curl=cHandle2,.encoding="gbk") 验证一下temp里面是不是已经有你的大名了呢？ grep("yourname",temp) 如果有的话那么恭喜你：RCurl已经成功接管你的登录权限了。六、登录后 RCurl 能继续干什么实现了登录认证的RCurl handles，这仅仅是第一步。能用它和R+RCurl继续做些什么呢？这时候，只要闭上眼睛、海阔天空的想一下平时怎么样用浏览器就有答案了： 1、能不能让RCurl帮我数一下某VIP网络俱乐部中王小麻子灌了多少水？ 2、能不能帮顶一下王二麻子发表的美女yy贴？ 3、为了给我的外甥女选秀投票，点鼠标点的手都抬不起来了，能不能让RCurl来帮我做呢？ 4、我天天去某网站下载文档，绝对的体力活！ 5、半夜起来偷菜，太困了，交给RCurl做就好了。 6、用RCurl玩twitter、写博客就好了。 7、我就想用RCurl看门户网站的体育新闻。 8、我就想在各个网站的论坛上发个“顶”字，顺便留下我的牛皮膏药小广告。 9、…… 天有多高，RCurl有多强…… 七、结束语没有想到会唠叨这么多的废话。但这篇水文仅涉及到libcurl、RCurl中的一点皮毛而已，更多的内容请参考DuncanTemple Lang写的RCurl 帮助文档和 libcurl官网。客观讲cURL属于浏览器中的一把剪刀，由于它强大的易编程属性，RCurl会带来一些意想不到的破坏性。但要记住：技术本身可能是无罪的，任何的破坏都可能是我们自己造成的。网络中的ID是现实中你的一个延伸，她同样有完整的人格和生命力，所以请尊重和爱护网络中的自己。最后，希望这篇水文没有影响到你的好心情。

呵呵，先来学习一下。[s:13]

非常好的帖子，发回邮箱收藏了

好像很高深哦。。。收藏了

鉴定完毕，新生代Geek一个…… 不过有两个疑问： 1.“至于为什么提交那么稀奇古怪的一串字符”，我没看到啥稀奇古怪的字符啊，lz是指？ 2.那个间接登录……怎么有点像Cookie伪装的说？不过没道理啊，按说现在的服务器端程序除了Cookie还会验证一下session的吧？至于那个自动投票……问题更在于验证码和IP吧？这个古老的话题其实解决办法蛮多的，其实写个自动刷新和提交的JS脚本就OK了（如果不用换IP的话）。

他指的应该是forward=&jumpurl=http%3A%2F%2Fcos.name%2Fbbs%2F&step=2&lgt=0&pwuser=yourname&pwpwd=yourpw&hideid=0&cktime=31536000；这些东西顾名可思义，jumpurl就是登录之后要跳转的页面，%3A这种东西时url_encode之后的字符（冒号），pw是phpwind，user和pwd就不用说了吧，hideid应该是指是否隐身登录，cktime用的是Unix时间戳。这位兄台很能写，风格也很搞，可以考虑加盟主站啊，哈哈。

回4楼： 1、那个字符串就是5楼的谢博说的那串。 2、名字就随便起了，我完全是随性起得。据我所知，session验证的安全性也有限。自动投票的问题跟你说的一样。ip和验证码识别是关键。另外新生代geek是什么呢？搜了一下，有褒义有贬义，我应该二者都不是：）回5楼：风格搞，完全是因为才疏学浅啊，开始写的时候才知道这个东西不象我开始想的那样那么的容易写，所以开了个头，就匆匆的收尾。因为curl除了要求精通英语、日语、法语外，还要精通html、xml、js、c等等各国专业语言，可我都不懂。写这个部分原因是看到你最近的文章所用的数据源。部分的原因是看到论坛没有说过这件事请，就先抛砖头了。加盟主站，这个可是2010年的第一份offer啊，哈哈。不知道有什么要求、义务和权力呢？如果要求不多，我就厚脸皮的应了。呵呵。

发一份自我介绍到contact@cos.name，注明一个你想要的用户名，随后会有人把注册信息发给你，谢谢权利嘛，基本上木有啥权利，等COS发达了（麦太口头禅），你想吃肉吃肉，想喝酒喝酒。义务嘛，基本上也木有，在你有空的时候琢磨几篇小文章发发就可以。一堆繁文缛节在此： http://cos.name/2008/11/how-to-work-with-cos/

[quote]引用第6楼medo于2010-01-03 14:08发表的 : 另外新生代geek是什么呢？搜了一下，有褒义有贬义，我应该二者都不是：） [/quote] 这个，没啥特别的意思，就是觉得有研究精神的都算作geek，新生代是觉得你很年轻……【当然这个未经验证，不过潜台词是“前途无量”】另，“陈博”这个称呼怪怪的，和我一同学名字一致。我也不是博士，算个博主也不够称职，你还是直接称cloudly吧……（说起来我想改下论坛ID了……）

杀人放火、居家旅游的利器！强烈推荐立志成为极客、黑客的童鞋阅读（包括 http://www.omegahat.org/RCurl/ ） [s:11]

[quote]引用第8楼临泽而渔于2010-01-06 16:12发表的 : 另，“陈博”这个称呼怪怪的，和我一同学名字一致。我也不是博士，算个博主也不够称职，你还是直接称cloudly吧……（说起来我想改下论坛ID了……） [/quote] 看来是我错了：）已经受到2次点名批评了，尽管我是出于尊重，看来还是直称ID来的自然些。

R不务正业之RCurl

ryusukekenji

>library(XML)<br />
>theurl <- "http://home.sina.com"<br />
>download.file(theurl, "tmp.html")<br />
>txt <- readLines("tmp.html")<br />
>txt <- htmlTreeParse(txt, error=function(...){}, useInternalNodes = TRUE)<br />
>g <- xpathSApply(txt, "//p", function(x) xmlValue(x))<br />
>head(grep(" ", g, value=T))

方法一无法辨认出中文字。[s:12]

>library(RCurl)<br />
>theurl <- getURL("http://home.sina.com",encoding='GB2312')<br />
>Encoding(theurl)<br />
[1]"unknown"<br />
>txt <- readLines(con=textConnection(theurl),encoding='GB2312')<br />
>txt[5:10]

方法二也是无法辨认出中文字。[s:15]

[s:19]希望熟悉采集网上数据的高手可以赐教，感激不尽～

enthumelon

回复第21楼的 ryusukekenji：把GB2312改一下，试下utf8啥的，事实上的原因有垃圾新浪用了繁体字，那个编码是big5/utf8的，然后你可以这么做：

<br />
library(RCurl)<br />
theurl <- getURL("http://home.sina.com",encoding='utf8')<br />
#Encoding(theurl)<br />
#[1]"latin1"<br />
txt <- readLines(con=textConnection(theurl),encoding='utf8')<br />
write.table(file='D:/fileas.txt',txt)<br />

查看文件，这回就对了。（由于我的R终端设置成不能显示中文，所以就查看文件吧。）

ryusukekenji

回复第22楼的 enthumelon：看到了，谢谢。（原来GB2312无法辨认繁体字... [s:12]）

那么有什么办法可以通过R把繁体转为简体呢？

enthumelon

回复第23楼的 ryusukekenji：R运行的时候自己都要加encoding的...编码问题历来很讨厌，想法就是把东西改成utf8，貌似Linux下最简单。

皮皮米菲兔

顶

spricola

niu ren a

tracyren615

回复第15楼的微微：我在R网站下了Rcurl的包安装在windows环境下提示无法载入程辑包'bitops'是什么原因？我没法使用geturl这个函数了？？[s:18]

皮皮米菲兔

回复第27楼的 tracyren615：最好是直接 install.packages("RCurl")这样安装，否则会需要手动安装其他依赖的包。

tracyren615

回复第28楼的波波头一头：貌似出现一行在此连线进行时请采用Cran的镜子，然后就不断停止工作了……[s:12]

ruikoeln

太强大了，学习中！[s:11]

tracyren615

版主在上，小弟再罗嗦一二，实现Rcurl上的一些办法依然有问题，我安装了Rcurl以及bitops，然而再试用medo的R不务正业当中，依然出现了一些函数不存在的情况，错误: 没有"getCurlHandle"这个函数，错误: 没有"debugGatherer"这个函数

tracyren615

回复第31楼的 tracyren615：本人脑子错乱了，copy错了提示语言，应该是错误于curlPerform(curl = curl, .opts = opts, .encoding = .encoding) :

couldn't connect to host，这段不太理解，求高手解答

tiancai007

RCurl能够识别的cookie格式是这样的呀

fernberry

如何才能看到这段内容？

浏览器给服务器端提交：

GET /HTTP/1.1

Host:cos.name

User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

Accept-Language:en-us

Accept-Encoding:gzip,deflate

Accept-Charset:GB2312,utf-8;q=0.7,*;q=0.7

Keep-Alive:300

Connection:keep-alive

我试用curl，只能看到这一段：

HTTP/1.x200 OK

Date:Fri, 01 Jan 2010 13:11:20 GMT

Server:Apache/2.2.14 (Unix) X-Powered-By: PHP/5.2.11

X-Pingback:http://cos.name/xmlrpc.php

Vary:Accept-Encoding

Content-Encoding:gzip

Content-Length:13973

Keep-Alive:timeout=10, max=30

Connection:Keep-Alive

Content-Type:text/html; charset=UTF-8

ming_uld

回复第34楼的 fernberry：你如果在用google chrome，可以快捷键 Shift+Ctrl+i 打开“Chrome Web Developer Tools”，在network里有头信息。我没用过其他的浏览器控件，不过都有类似的东东可以查看。

frank_cg

反复看了medo的帖子以及“RCurl能够识别的格式”，但还是对这个cookiefile的格式不甚了解。[s:12]

在firefox下通过firebug导出cos的Cookie是类似这样的格式：

cos.name	FALSE	/	FALSE	bbpress_logged_in_c0c92aaf0db2e1fa00b8a476daa2244a	82550%7C1324980031%7Ce1c60de3182c3542a68fcd9c844c2cdb

然后用lz说的间接登录的办法登录没有成功。求各位前辈解答cookies.txt的格式应该是什么样的？

我的代码如下：

<br />
library(RCurl)<br />
myHttpheader<- c(<br />
	"User-Agent"="Mozilla/5.0(Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)",<br />
	"Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",<br />
	"Accept-Language"="en-us",<br />
	"Connection"="keep-alive",<br />
	"Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7")<br />
d2<- debugGatherer()<br />
cHandle2<- getCurlHandle(httpheader=myHttpheader,followlocation=1,debugfunction=d2$update,verbose=T,cookiefile="~/cookies.txt")<br />
getCurlInfo(cHandle2)[['cookielist']]   ### 这里取出来是空的<br />
temp2<- getURL("http://cos.name/cn",curl=cHandle2,.encoding="utf8")<br />
grep("xxx",temp2)</p>
<p>

foreseer201

回复第36楼的 frank_cg：

与frank_cg朋友同问啊，那个rCurl能识别的cookie txt文件里，应该是啥样的格式？给个例子哈。

多谢啦。[s:13]

foreseer201

下面是从IE浏览器导出的cookies.txt文件，直接让rculr来读，好像没起作用。

curl2<- getCurlHandle(httpheader=myHttpheader,followlocation=1,

verbose=TRUE,

cookiefile="D:\\cookies.txt")

getCurlInfo(curl2)[["cookielist"]]

返回的结果是空串。

请知道格式的朋友帮帮忙啊[s:12]

# Internet Explorer cookie file, exported for Netscape browsers.

accounts.google.com TRUE / TRUE 1392796590 GAPS 1:eHUcq27cOsafT4NqczUhxmMvycYPoQ:NensjmiH9Qip9BSn

accounts.google.com TRUE / FALSE 1391941919 __utma 72592003.26169853.1325740303.1326877829.1328504963.11

accounts.google.com TRUE / FALSE 1344637919 __utmz 72592003.1325740303.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)

google.com TRUE / FALSE 1386144971 PREF ID=c4c4bfde1bbeccf4:U=e7a1f94e804adf5c:NW=1:TM=1277867572:LM=1322709428:S=5Re9Nqn8MI2BioiJ

google.com TRUE / FALSE 1603723024 rememberme false

google.com TRUE / FALSE 1345535790 NID 56=J1SVrrQPW0Q7aibEujQOTMJ-H7unI7aVwLKSUneS9xUiCQLDtuBicaVNECnnoZc0PPMc941T-HylXLgsh0rhr7thh0NLRAVnA9ggR-xr9oKT2zXIei2RShGFeG0uTR0R5nAc2ojNOOY9Qg

foreseer201

晕，刚发现是2年前的帖子，楼主好像很久没来了。

那个cookies.txt内的格式，怎么都搜不到。。。杯具

bsspirit

好帖子，学习中。。。Curl很强大