抓去网页上数据

zhangbing4502431

http://www.zhepb.gov.cn/htdocs/apinew/api_view_l.asp

如何抓取这个网站的数据？

nan.xiao

<br />
require(RCurl)</p>
<p>k = postForm("http://www.zhepb.gov.cn/htdocs/apinew/api_view_l.asp",<br />
             T1 = "2012-6-1", B1 = "%B2%E9%D1%AF",<br />
             style = 'post', .encoding = "utf-8")</p>
<p>k = iconv(k, 'gbk', 'utf-8')</p>
<p>print(k)<br />

</p>

zhangbing4502431

回复第2楼的 nan.xiao：为什么我运行程序时候，得到的不是表格数据，而是“r\n\r\n<html>\r\n\r\n<head>\r\n<style type=text/css>\r\nTABLE.cal.......”

后面的内容省略了

nan.xiao

因为返回的就是一个完整页面，表格数据用正则表达式提取出来即可。

medo

回复第4楼的 nan.xiao：

如果不想自己制造车轮，XQuery是上佳选择。

kuanguang

使用xml，进行解析抓取数据。

zhangbing4502431

回复第4楼的 nan.xiao：这个提取貌似很麻烦啊，是否有其他的办法？

nan.xiao

<br />
require(RCurl)<br />
require(XML)</p>
<p>k = postForm("http://www.zhepb.gov.cn/htdocs/apinew/api_view_l.asp",<br />
             T1 = "2012-6-1", B1 = "%B2%E9%D1%AF",<br />
             style = 'post', .encoding = "utf-8")</p>
<p>k = iconv(k, 'gbk', 'utf-8')</p>
<p>k = htmlParse(k, asText = TRUE, encoding = 'utf-8')</p>
<p>k = sapply(getNodeSet(doc = k, path = "//font[@color='#0000FF' and @size='2']"),<br />
           xmlValue)[1:24]</p>
<p>matrix(k, ncol = 4, byrow = TRUE)</p>
<p># [,1]   [,2]       [,3]       [,4]<br />
# [1,] "地区" "污染指数" "空气质量" "首要污染物"<br />
# [2,] "香洲" "35"       "优      " "无"<br />
# [3,] "吉大" "33"       "优      " "无"<br />
# [4,] "前山" "38"       "优      " "无"<br />
# [5,] "唐家" "35"       "优      " "无"<br />
# [6,] "全市" "35"       "优      " "无"<br />

</p>

zhangbing4502431

回复第8楼的 nan.xiao:太感谢了

lianbao

回复第8楼的肖楠：请问T1 和B1 是对应网页控件的名称嘛，这个变量名字是如何确定的啊，我想从东方财富网站上下载解禁信息，想模拟鼠标点击获得不同月份数据，如何用postForm实现啊？[s:14]

earclimate

敢问肖版B1 = "%B2%E9%D1%AF"是怎么来的？

从网页中解析到B1="查询",试了几种编码转换怎么也得不到 "%B2%E9%D1%AF"啊？

另外，对这个网页，postform中去掉B1这个参数貌似也没有影响，一般postform中需要的参数怎么确定呢？

新开的一帖涉及的网页历史数据查询，中间有一个action转向另一个结果网页，这个postform该如何写，研究了好久没搞定，请肖版指点下哈，谢谢！帖子地址：

http://cos.name/cn/topic/111770

xioxu

虽然回复有点晚，但作为一个用法演示，您也可以使用下边的读取方法

mydata<-read.table("http://www.datafiddle.net/UrhYinmhXz51AAAB/file",sep=",",fileEncoding="UTF-8",header=TRUE,stringsAsFactors=FALSE)

ywh19860616

回复第12楼的 xioxu：

请教您，您命令中的http://www.datafiddle.net/UrhYinmhXz51AAAB/file是如何得到的？

我知道http://www.datafiddle.net/这是您设计的网站网址，我开始以为把需要下载数据的网页

http://www.zhepb.gov.cn/htdocs/apinew/api_view_l.asp

直接复制黏贴到您网站的Data Source Url框中，然后点击run，可是并未出现预想的结果。

而您直接预设的网址http://www.csndmc.ac.cn/newweb/more_quickdata.jsp却可以，为什么？

简单地说，如果我仅有一个待下载数据的网站，应该如何利用您开发的工具？

谢谢您的指导

wfldragon

[未知用户]

请问版主，这个多页的网页怎么抓取数据？非常感谢！

wfldragon

@肖楠</a>：

怎么没有把网址贴上来，不好意思。
地址#107477#334985#8