我学习R时间并不长，但已被其所折服。不过使用过程中发现有时候需要抓取网站数据相对来说麻烦些，譬如可能要用正则、xml之类的东西，才能把网站上的数据搞出自己需要的样子，所以就想是不是可以搞一个网站来简化这些操作。经过尝试，总算做了出来，基本上实现了我的需要，可以在站点上利用web开发所用的标准jquyer选择器来进行数据的整理。这样一来，不论是任何语言，在需要做网站数据抓取的时候只需要一个链接地址就够了，彻底脱离正则、xml之类既复杂又容易出错的问题。网站地址是http://www.datafiddle.net 您不用注册就可使用，不过要想脚本只能被自己修改的话就需要注册了。目前网站还属于测试阶段，使用的是一个免费服务器，可能不是特别稳定，有速度问题的话还请海涵，各位使用过程中有什么建议的话可以留言或者mail给我，谢谢了。

对了，估计许多人还是对js和jquery不太了解，所以写这脚本可能会有困难。如果有谁需要的话，可以把您要抓的网页地址贴到这，我可以代写。

回复第2楼的 xioxu：看起来很不错，赞一个。其实原理已经和XPath很像了吧，只是jQuery的更灵活些。

回复第2楼的 xioxu：您好，请问可以写循环，连续进行数据采集吗？

回复第1楼的 xioxu：正找这个呢，多谢

这个太猛了。本来是要召唤土地公公，结果一顺手就招来神龙。

回复第3楼的 Ihavenothing：您好，我没有明白您“连续进行数据采集”的意思，是指同时采集多个网页？是这样的，本来我设想的是可以让大家用任何自己熟悉的js框架来写东西，但目前基于效率的考虑，底层采用了一种简单的实现，暂时屏蔽了for和while。后边如果确认大家有这方面需要的话，我可以考虑实现。

回复第3楼的 Ihavenothing：您说的没错，就是实践过程中实在是烦透了xpath和正则来做这种事情，才想到这么一个东西的。

回复第6楼的 chendigui：欢迎使用，有问题可以留言，说实话，能做出来一个让大家感觉有意义的东西，我也会觉得我的时间没有浪费。

回复第7楼的谢益辉：谢谢表扬，当时发帖很长时间没有回复，还想着我做的东西恐怕是大家不太需要呢。 (^_^),只要有人喜欢就值了。

新发布了一个在线web scraping的站点,需要抓取网页数据的可以看看

xioxu

回复第19楼的 zhangbing4502431：

花费了大概三分钟时间(^_^),您看http://www.datafiddle.net/UrlPj07CHwAAAAAB/file 这个是您要的数据吗？

可以通过http://www.datafiddle.net/edit/UrlPj07CHwAAAAAB 查看脚本

在R中可以这样使用：

mydata<-read.csv("http://www.datafiddle.net/UrlPj07CHwAAAAAB/file",sep=",",encoding="UTF-8",header=FALSE,stringsAsFactors=FALSE)

xioxu

回复第20楼的 wangyapu：说来惭愧，前段时间又看了几天nodejs，又碰巧有支持nodejs的空间，便随便实践了一下。

代码目前以我的眼光来看还是拿不出手的，准备过几天放假后好好重构下，到时候再看有人需要的话再分享。

ywh19860616

回复第18楼的 xioxu：好的，谢谢您的指导。

fyears

回复第17楼的 ywh19860616：这个东西其实就是给了一个 js 操作网页的方法和运行环境。对于你所需要的网页的表格等数据，需要运用 js 知识对网页进行清洗返回 csv 格式的字符串，而不是很神奇的对网页进行自动分析获得表格。所以你使用这个网站需要 js 的一些知识。

fyears

回复第1楼的 xioxu：楼主大牛啊。

你是不是后端使用 expressjs 建网站，用 Cheerio 模拟 jquery 操作的？我也有 nodejs 开发经验，如果楼主你打算重构或者改进之类的，也许我能够帮上忙。:-)

另外 js 可能比较多搞数据开发的人不是很熟悉。愿意折腾的话后端可以加上 python 的 beautifulsoup4 支持，或者 r 等。我觉得以楼主水平是很容易实现的。

turnR4w

看楼主介绍说使用的是免费服务器，请指点一二[s:13]

ruikoeln

回复第1楼的 xioxu：这个东西超赞！下一步楼主也许可以整合一些数据可视化的功能。

liyasong

想法很赞，觉得这个需求其实蛮大的。楼主爬取数据的思想跟我在 [获取数据的4种方法](http://zisong.me/post/ji-zhu/huo-qu-shu-ju-de-4chong-fang-fa)中的2，3方法有相似之处。不过我觉得使用chrome自带xpath提取功能算是很简单的，并不繁琐呀

vz33

我Web编程无知，但似乎不同的网站使用的代码略有不同啊。

iauhs

你好，请问你的网站能获取多个网页的相同格式的数据么？

比如我想要 http://www.societe.com/societe/le-dub-970801957.html 这个网址上的 Nom commercial SIRET Activité Capital social 等信息

xioxu

回复第19楼的 liyasong：是滴是滴，其实我有另外一个小玩意就是涉及到xpath（www.json2json.io）的，不过我还是感觉xpath这个玩意过于繁琐，容易出错，没有通过jquery选择器来的容易及自然，只是可惜这个也是需要一点这方面的知识，略有不便。

xioxu

回复第17楼的 turnR4w：哈哈，使用的是红帽子的免费服务器openshift

xioxu

回复第30楼的 iauhs：[s:13]，貌似我们有邮件交流哦，还是把答案贴这里方便其他人吧。

可以参考http://www.datafiddle.net/view/UrhJIHAx8AAAAAAB

//例如http://www.datafiddle.net/UrhJIHAx8AAAAAAB?in=http%3A%2F%2Fwww.pm25s.com%2Fxian.html 取得的就是西安的数据

//http://www.datafiddle.net/UrhJIHAx8AAAAAAB?in=http%3A%2F%2Fwww.pm25s.com%2Fchongqing.html 为重庆的数据

xioxu

回复第16楼的 fyears：谢谢您的谬赞，咱们这个坛子里才是藏龙卧虎，比起其他朋友的专业知识，我这个只能算是雕虫小技了，[s:19]。我平时比较懒，前段时间一直忙公司的几个项目，都没动我几个自己折腾的网站代码，担心耽误其他人啊，[s:12]。

呵呵，不过话说回来，主要可能是这个网站使用相对过于专业复杂，使用的人非常少，所以也就没有特别的动力去搞了。

xioxu

吐槽下，咱们这个论坛好像没有邮件通知功能吧，要是有的话可能我怎么也会抽时间回复各位的留言的，抱歉了啊...

elephann

[未知用户]
你好！能帮我看看如何下载Shibor数据吗？这个网页上的数据可以直接下载EXCEL或者text文件，但我想很想直接导入R软件，但搞了好多天也想不出来，网上搜所基本上都是抓取网页内容的，论坛里倒是以前有位老兄做过（http://cos.name/cn/topic/127368/），但看了半天没看明白，能否辛苦一下看看能否解决一下！比如下载Shibor数据2015，辛苦老兄，先表示感谢！！！

caicaicanger

[未知用户]
您好，我想提取这个网站里（http://aqicn.org/city/tangshan/）一整个月里每小时的数据，我把示例中上海改成了唐山，我想知道这个网站是可以自动每小时运行一次的对吗？但是要怎么得到之前的数据呢？是一个月后才会把数据寄到我填写的邮箱里吗？

caicaicanger

[未知用户]
如果只要把每小时的数据记录下来发到邮箱里，之后人工整理会不会不超过资源要求，比如每隔一段时间发一次邮件？
我想得到http://aqicn.org.一个月里每四小时一次的数据。

caicaicanger

[未知用户]
如果只要把每小时的数据记录下来发到邮箱里，之后人工整理会不会不超过资源要求，比如每隔一段时间发一次邮件？
我想得到http://aqicn.org/city/tangshan/.一个月里每四小时一次的数据。

siyuan

[未知用户]
楼主你是从事什么职业的啊，我只想说，太牛逼。怎么可以联系到你啊，有邮箱吗？