获取网页数据，求简化代码。

wangpeng692

[s:18]

http://www.pm25s.com/cn/30/beijing.html

网页中的数据不是以table形式出现的，使用readHTMLtable无法读取，能不能提示下使用什么函数比较好？

简化四楼的中的代码

Ihavenothing

回复第1楼的 wangpeng692：

这个数据还是很有规律的，但得用到一些XML的知识，用XML包里面的一些函数解析。你可以先看看页面的源代码，就知道数据的结构是怎么组织的了。

zggjtsgzczh

回复第1楼的 wangpeng692：

忙里偷闲，帮你处理了一下。

费时但便于阅读的方法

<br />
wget o "http://www.pm25s.com/cn/30/beijing.html" -O temp.txt<br />
sed -i "50,80!d" temp.txt<br />
sed -i "s/<[^>]*>/,/g" temp.txt<br />
sed -i "s/<[^>]*>/,/g;s/^,,//g;s/ /,/g" temp.txt<br />

</p>

简单却较为难读的方法

<br />
wget o "http://www.pm25s.com/cn/30/beijing.html" -O temp.txt<br />
sed -i "50,80!d;s/<[^>]*>/,/g;s/<[^>]*>/,/g;s/^,,//g;s/ /,/g" temp.txt<br />

</p>

当然，用R也可以，你自己再摸索吧。这只包括主表数据。[s:17]

又及：感谢PM25.in提供数据API——这里有没有看呢(http://www.pm25.in/api_doc)

wangpeng692

感谢楼上两位大侠，自己也在摸索，通过R可以获取这一页的数据了，但代码显示不够精练啊[s:12]

那个API没看呢，这方面绝对是没接触过的小白。

<br />
url = "http://www.pm25s.com/cn/30/beijing.html"<br />
doc = readLines(url, encoding="UTF-8")<br />
expr1 = "<span class=\"site\">.*</span>"<br />
doc1 <- grep(expr1, doc, value=TRUE)<br />

</p>

tempexpr1 <- "<div class=\"aqi_top\">"

tempexpr2 <- "<span class=\"site\">"

tempexpr3 <- "<span class=\"quality\">"

tempexpr4 <- "<span class=\"aqis\">"

tempexpr5 <- "<span class=\"lv[0-9]\">"

tempexpr6 <- "</span>"

tempexpr7 <- "</div>"

tempexpr8 <- "<div>"

<br />
tempexpr <- paste(tempexpr1,tempexpr2, tempexpr3, tempexpr4, tempexpr5, tempexpr6, tempexpr7, tempexpr8, sep="|",collapse="|" )<br />
tempdoc1 <- gsub(tempexpr, " ", doc1)<br />
tempdoc1 <- gsub("/", " ", tempdoc1)<br />
tempdoc2 <- strsplit(tempdoc1, " +")<br />

</p>

<br />
df <- t(as.data.frame(tempdoc2, row.names=NULL, stringsAsFactors=FALSE))<br />
df1 <- as.data.frame(tempdoc2)<br />
df2 <- t(df1)<br />
df3 <- as.data.frame(df2, row.names="", optional=TRUE)<br />
df4 <- df3[-1,-1]<br />
as.data.frame(df4, col.names=df3[1,])<br />
names(df4) <- df3[1,]<br />
names(df4)<br />
names(df4)[1] <- "日期"<br />
names(df4)[2] <- "AQI排名"<br />
names(df4)[3] <- "AQI"<br />
names(df4)[4] <- "PM2.5"<br />
names(df4)[5] <- "PM10"<br />
names(df4)[6] <- "CO"<br />
names(df4)[7] <- "NO2"<br />
names(df4)[8] <- "SO2"<br />
names(df4)[9] <- "O3-1h"<br />
names(df4)[10] <- "o3-8h"<br />
names(df4)[11] <- "空气质量"<br />
print(df4)<br />

</p>

[data]

> print(df4)

日期 AQI排名 AQI PM2.5 PM10 CO NO2 SO2 O3-1h o3-8h 空气质量

2 2013-11-26 第3位 38 16 48 0.741 22 10 39 32 优

3 2013-11-25 第15位 60 14 26 0.543 23 9 34 37 良

4 2013-11-24 第75位 167 71 132 1.194 42 26 23 20 中度污染

5 2013-11-23 第75位 204 176 155 2.94 98 57 14 14 重度污染

6 2013-11-22 第62位 135 124 121 2.271 82 45 10 12 轻度污染

7 2013-11-21 第28位 93 91 102 1.935 70 35 - - 良

8 2013-11-20 第25位 75 60 80 1.661 55 24 - - 良

9 2013-11-19 第1位 24 31 41 0.764 38 16 - - 优

10 2013-11-18 第1位 20 9 17 0.421 19 7 - - 优

11 2013-11-17 第1位 34 10 22 0.471 21 7 - - 优

12 2013-11-16 第39位 111 41 94 0.791 30 12 - - 轻度污染

13 2013-11-15 第48位 98 93 169 2.137 82 28 - - 良

14 2013-11-14 第92位 172 68 93 1.302 55 20 - - 中度污染

15 2013-11-13 第81位 115 150 180 2.755 98 50 - - 轻度污染

16 2013-11-12 第68位 78 56 84 1.36 58 22 - - 良

17 2013-11-11 第12位 44 38 65 0.774 54 18 - - 优

18 2013-11-10 第19位 53 17 44 0.47 29 9 - - 良

19 2013-11-09 第95位 179 90 109 1.577 66 40 - - 中度污染

20 2013-11-08 第56位 107 127 161 2.228 94 50 - - 轻度污染

21 2013-11-07 第4位 57 33 57 0.304 43 10 -10 -10 良

22 2013-11-06 第109位 196 92 138 1.497 56 10 - - 中度污染

23 2013-11-05 第84位 114 146 191 2.065 96 24 - - 轻度污染

24 2013-11-04 第2位 39 37 61 0.869 55 10 - - 优

25 2013-11-03 第103位 214 54 56 0.825 46 6 - - 重度污染

26 2013-11-02 第108位 257 243 263 2.141 105 12 - - 重度污染

27 2013-11-01 第104位 210 182 206 1.908 102 15 - - 重度污染

28 2013-10-31 第90位 145 138 165 1.638 98 11 6 10 轻度污染

29 2013-10-30 第20位 63 74 104 1.175 73 12 15 14 良

30 2013-10-29 第83位 208 41 73 0.916 47 11 28 28 重度污染

31 2013-10-28 第104位 279 267 293 2.919 114 33 13 16 重度污染

[/data]

wangpeng692

AQI历史数据网页打不了[s:12]

zggjtsgzczh

回复第5楼的 wangpeng692：

Email他的数据提供方，看是否可以提供或者给出相应query参数。

如：

www.pm25.in/api/querys/pm2_5.json?city=zhuhai&token=5j1znBVAsnSf5xQyNQyq

或者，直接致电环境监测总站，向他索取数据，此类数据应为公共资源数据，属于公开内容，见其网站的法律法规即可。现在连气象局的历史数据都必须要公开，而何况一个小小的环保局。

zhangbing4502431

回复第6楼的 zggjtsgzczh：想找环境总站要这个数据，估计够呛。一路辛酸啊。

zggjtsgzczh

回复第7楼的 zhangbing4502431：

一般是看这个数据是否属于公开内容，然后看他的公开方式，接着根据你自己的需求提交一份说明，依据他的可能回复和实际回复，给出进一步的说明。比如说明你的数据用途和结果，及可能带来的对其机构的影响，让他自己决策。一般官僚作风较低的部门或负责人会很乐意配合的，但前提是你的陈述要清楚，需求要合理，操作要可行。沟通——这也是统计员必备的素质之一。

可以参考这里的情况 http://www.cma.gov.cn/2011qxfw/2011qsjgx/

ps:其实一些国外的机构，如果听说你会引用他们的资料往往都会很开心很配合，因为报告发布后会有更多人重视这个机构，往往会使得他们未来的预算申请更容易被批准。

回复第9楼的 wangpeng692：

对于制造业企业来说，其实可以看看ERP之类的，他的一些思路和方法非常适合于制造业企业，尤其是在这个数字化的时代。可以配合R的数据分析功能来进行成本会计和管理会计动态分析，从而形成商业智能决策系统，这在国外已经开始在SME类企业大量应用了，关注office产品框架就会很清楚的认识到。这样你也会提高自己在企业中的作用和地位，以及职业附加值和竞争力。终归统计这个专业门槛较低，如果能有面对应用的系统解决方案，也算是给自己找到一个稳定的职业发展路径了。

wangpeng692

[s:11]还争论上了

最近有篇报道说我所在城市的空气质量排名靠前了，就想通过这些历史数据来看下，究竟是啥情况的。顺便使用下R语言，不能光学不练啊（实际工作中用的少，偶就是一制造企业的普通统计员[s:11]）

感谢zggjtsgzczh的指点[s:14]

真心希望这些免费开源的统计软件、办公软件、大数据等能够在我们这些中小企业中流行起来，一方面可以减少盗版软件的使用，另一方面也是对正版软件作者的尊重。

xioxu

我想您需要的数据使用我新发布的网站算是比较简单的了：

您可以使用http://www.datafiddle.net/UrhJIHAx8AAAAAAB来查看数据

使用

mydata<-read.table("http://www.datafiddle.net/UrhJIHAx8AAAAAAB/file",sep=",",fileEncoding="UTF-8",header=TRUE) 在R中读取数据