京东商城手机价格问题

itellin

京东商城手机的价格好像在街上看见美女，只能看，不能摸。
在这个网址中http://list.jd.com/list.html?cat=9987,653,655
各个品牌是手机价格放在节点<div class="p-price"><span id="p1057746"></span></div>中，因此趴取出来也是价格编号，看不见价格，怎么找都找不到价格藏在哪里，是京东压根就不给看，还是没有找到出处。

> url = "http://list.jd.com/list.html?cat=9987,653,655"
> price = url %>% html_session() %>% html_nodes(".p-price span") %>% html_attrs() %>% unlist %>% as.vector
> price
 [1] "p1057746"    "p1023433"    "p1057741"    "p1217524"    "p1286133"    "p1160548"    "p981821"     "p1165978"   
 [9] "p1023437"    "p1199748"    "p1124332"    "p1217526"    "p1033196"    "p1086759"    "p975628"     "p1185017"   
[17] "p1057740"    "p1300779"    "p1139519"    "p1099153"    "p1300419"    "p1264715"    "p1182292"    "p1217525"   
[25] "p975641"     "p1260571"    "p1160245"    "p981822"     "p1041685"    "p1163613"    "p1220064"    "p855739"    
[33] "p1301899"    "p1185016"    "p1411708283" "p1084276"    "p1175898"    "p1101144"    "p1124365"    "p1192180"   
[41] "p1178704"    "p917461"     "p1220040"    "p1023438"    "p1241591"    "p1256854"    "p1299917"    "p1058924"   
[49] "p1124369"    "p1101135"    "p1058157"    "p973861"     "p1079888"    "p919669"     "p1106478"    "p1169454"   
[57] "p1178707"    "p1138529"    "p1220054"    "p1157957"

zggjtsgzczh

http://p.3.cn/prices/mgets?skuIds=J_1057746,J_1023433,J_1057741,J_1217524,J_1286133,J_1160548,J_981821,J_1165978,J_1023437,J_1199748,J_1124332,J_1217526,J_1033196,J_1086759,J_975628,J_1185017,J_1057740,J_1300779,J_1139519,J_1099153,J_1300419,J_1264715,J_1182292,J_1217525,J_975641,J_1260571,J_1160245,J_981822,J_1041685,J_1163613,J_1220064,J_855739,J_1301899,J_1185016,J_1411708283,J_1084276,J_1175898,J_1101144,J_1124365,J_1192180,J_1178704,J_917461,J_1220040,J_1023438,J_1241591,J_1256854,J_1299917,J_1058924,J_1124369,J_1101135,J_1058157,J_973861,J_1079888,J_919669,J_1106478,J_1169454,J_1178707,J_1138529,J_1220054,J_1157957&type=1&area=1_72_4137&callback=jsonp1421128559216&_=1421128559650

itellin

[未知用户]
请教一下，这个价格链接是在哪里找到的，我翻了半天都找不到。

zggjtsgzczh

[未知用户]

用chrome的f12打开开发者工具，然后network选项卡下，刷新一下网页即可，当然你也可以使用这个页面的过滤功能，也就是选择script过滤规则，然后找包含mgets字符串的js即可。

其实网页解析获得数据的方法是有许多种方法的，单一的网页源代码解析比较适合一些静态网页，这些用你1楼的包会比较合适，而除此之外，还有一些通过js加载的json动态数据，就需要相对应的方法获取了。以上两种之外，还有xml之类的后台数据调取方法等等。

如果不是为了成为程序猿，那就适可而止最好。网页抓取的确是获得数据的方法之一，但是这仅仅是现有的网络环境造成的（许多职业数据分析员都可以通过后台获得原始数据并进行处理），还是把焦点关注放在感兴趣的领域的统计分析方法框架和实现最好，否则这些日新月异的新技术（其实都是老外玩剩下的东西）会让人陷入疯狂的。我现在还在用wget+curl+sed+awk等命令行组合来获得主要的网络数据，因为技术成熟开发稳定，不像R的那些花狸狐哨的包，哪天R为了盈利进行功能限制，你为此建构的所有代码都要寻找替代品重写。

ps:主要是看你最近似乎非常的迷恋数据抓取和rvest包，提醒你不要迷失，大家都有过这样的阶段的 :cool: ;-)

itellin

[未知用户]
谢谢提醒，主要是现在闲着没事，我这个人好奇心比较强，看见不会的总想搞明白，也许过一阵子兴趣过去了就还原了。
你说的统计分析方法框架，对此我有不同的认识，有一个潜在的错误，大家可能忽略了，就是方差。现在方差的定义是在均值之后，这对静态的数据没有问题，但是对动态的数据问题就大了，统计模型改来改去，参数调了又调，估计跟此有关。对于动态数据，经常是一个大幅波动，然后慢慢地数据在聚集起来，这明显是方差在前，均值在后，而我们使用的方法是先计算均值然后在计算方差，这是这种差异，有时会导致模型走形，今天还看见一个帖子，说使用了随机深林和支持向量姬建的模型，测试的正确率也有90%，可是到实际中一件商品也没有卖出去。
现在人们都追求耐糙的大数据，对方法本身的合理性没有多少关注。

itellin

经过楼上的高手指点，京东的手机价格总算趴下来了。

require(stringr)
require(rvest)
require(rjson)

myfun = function(x){
          url = str_c("http://list.jd.com/list.html?cat=9987%2C653%2C655&page=",x,"&JL=6_0_0")
          brand = url %>% html_session() %>% html_nodes(".right-extra .p-name a") %>% html_text() 
          b = brand[-c(1:(length(brand) - 60))] %>% strsplit(" ")
          b1 = sapply(1:60,function(i) paste(b[[i]][1],collapse = ''))
          b2 = sapply(1:60,function(i) paste(b[[i]][2],collapse = ''))
          b3 = sapply(1:60,function(i) paste(b[[i]][-c(1:2)],collapse = ''))
          evalue = url %>% html_session() %>% html_nodes(".evaluate a") %>% html_text() %>% str_extract("\\d+") 
          price = url %>% html_session() %>% html_nodes(".p-price span") %>% html_attrs() %>% unlist %>% as.vector %>% str_replace('p','J_')
          price1 = apply(as.matrix(price),2,paste,collapse = ',')
          
          u = str_c("http://p.3.cn/prices/mgets?skuIds=",price1)
          dat = u %>% html() %>% html_nodes("p") %>% html_text()
          p = fromJSON(dat)
          price =sapply(1:60,function(i) p[[i]]$p)
          
          data.frame(品牌 = b1,型号 = b2,性能描述 = b3,评价人数 = evalue,价格 = price)
        }

dat = lapply(1:4,myfun) #总计有44页
total = do.call(rbind,dat)

> tail(total)
             品牌     型号                          性能描述 评价人数    价格
235          IUNI       U2              32GB冰峰银联通3G手机     1723 1199.00
236 诺基亚(NOKIA)    Lumia         830(RM-984)黑色联通3G手机      734 1699.00
237          华为   C8817E                      黑电信4G手机      467  799.00
238           TCL 老人手机        (i310)纯净白移动联通2G手机    10970  199.00
239          联想 黄金斗士 A8(A808t-i)8G阿尔卑斯白移动4G手机      743  698.00
240          IUNI       U3  32GB墨池黑移动联通4G手机双卡双待     1056 2000.00

zggjtsgzczh

[未知用户]

对扒数据感兴趣可以看看fiddler，也是一个深似海的领域。你的这个代码可以进一步开发出京东手机价格变动的策略分析模型。

顺便对你之前的一些看法提供一些建议：

建议你先做个时间规划，然后确定一个目的，并设计一个知识框架学习路线图。提前测试一下看在给定的时间范围内是否能够达成预期，然后系统性的掌握一个门类，这样的优点在于你可以掌握控制权，而不是由外部随机出现的兴趣点所控制，消耗的大量精力值获得一些零散的不系统的知识，而且还会很快“过期”。

关于那个方差，其实他只是数学分析上的一个工具，针对一个数学性质的表述。当人们面对实践问题时，如果认为他希望获得的信息符合这种数学性质的特征，那么它就可以使用这个公式进行表达。而如果他需要获得信息非常复杂，就可以把把其拆分为多个子信息，然后通过相应的数学性质认定，确认相应的公式，最后通过数学模型把这些数学公式组合起来就可以得到自己所希望获得的信息。

所以，没有固定的方法和模式，有的是你如何认定你所要获得的信息的数学性质，然后才是寻找公式和建构模型。因此你需要先掌握现有的一般分析方法，然后才是创造自己的分析工具。这就像外科医生，所有的手术器械都有，但总还是有一些特殊的手术需求需要你去创造新的手术器械，去完成一个手术操作。你所认为的方差问题，就像一个实习外科医生发现手术刀的刀刃过窄，而不能去处理一些骨关节内部的组织剥离手术，然后就说这刀不好使。如果你有能力造一个更好的，外科主任一定会对你“刮目相看”的，而不是把你看作一个喜欢抱怨的新人。就像谢益辉最初写knirt包的动机和现在大家对这个包的承认那样。这是一个契机。 :)

itellin

[未知用户]
和你交流，确实可以撞击出一些火花。
的确，我入这行比较晚，大概在去年10月才开始关注机器学习的。之前一直在金融领域里面混，正是在研究金融价格波动的过程中发现人们对方差的理解出现了问题，于是转变思路，从黎曼换成勒贝格，一切豁然开朗，由勒贝格的视角，均值和方差是独立关系，他们的联系受制于采样时间，其基本关系：采样时间 = 均值X方差/2,这个关系很眼熟吧，就是三角形的面积公式，均值就是三角形的高，方差就是三角形的底，通过频率把时间和空间统一起来。通常时间是固定的，而均值，方差是变化的，当均值和方差知道了一个的时候，另一个也就计算出来了，因为他们不同步，从而解决了随机行走的问题。完成了金融领域的工作后，便想能否把这套思路用到机器学习中，一进这个门，发现好多东西都不会，便又开始了折腾之旅。

HarryYu

[未知用户]

我还是觉得金融更好，你说的关系式，突然一看我吓了一跳。
我现在已经开始放弃方差了，不是说与方差为敌，而是自己看着看着书，会随手记下一些心得，有一次我就这么写的，“尽量不用方差”。

根据你的公式，已知两个量可以求出第三个量。这个思路是对的。其实这个思路背后有一层更深的思路，那就是通过三个量（的变化）可以确定出两个量（的变化）。我现在就这么搞。

但是我还是支持你在'rvest'上面继续自己的想法。

huhutc

楼主你好，如果我想获取这个网站上的表格数据http://www.pm25.in/rank
代码改怎么写呢？希望您有空看下

huhutc

[未知用户]
还有一个就是能用rvest实现实时么？

itellin

> dat = url %>% html(encoding = 'utf-8') %>% html_table() %>% as.data.frame
>  names(dat) = c('排名','城市','AQI','空气质量','首要污染物','PM2.5','PM10','CO','NO2','O3_8h','SO2','二氧化硫')
>  head(dat)
  排名   城市 AQI 空气质量 首要污染物 PM2.5 PM10    CO NO2 O3_8h SO2 二氧化硫
1    1 甘孜州  26       优               17   25 0.255  10    54  32        4
2    2   玉溪  31       优               20   30 1.095  16    42  41       11
3    3 迪庆州  32       优               17   16 2.345  18    57  63       16
4    4 楚雄州  35       优               19   34 0.817  16    25  31       22
5    5 阿坝州  35       优               24   26 0.816  32    35  48        6
6    6   绥化  36       优               23   35 0.923  22    48  51       40

rvest和实时没有什么关系吧。

huhutc

哦，那实时应该用另外的包写的，我想问下想这种http://bike.zjhzgj.com/Station.asp网站，好像在源代码中看不到数据哎，是不是就不能把数据弄下来了？

itellin

library(RCurl)
library(rjson)
url = "http://218.93.33.59:85/map/huzhoumap/ibikestation.asp"
dat = getURL(url,.encoding = 'utf-8')
dat = substr(dat,regexpr("\\[",dat)[1],regexpr("\\]",dat)[1])
p = fromJSON(dat)
bike = do.call(rbind,p)
> head(bike)
     id name           lat      lng      address
[1,] 1  "爱山广场西"   30.8686  120.0995 ""     
[2,] 2  "爱山广场东"   30.8685  120.1031 ""     
[3,] 3  "衣裳街"       30.86485 120.1019 ""     
[4,] 4  "铁佛寺"       30.8666  120.0977 ""     
[5,] 5  "潘家廊湖鲜街" 30.87206 120.1136 ""     
[6,] 6  "全民健身中心" 30.86969 120.1047 ""

ryo

[未知用户]

itellin兄，咱也刚学习不久而已，日后还得多多指教哦！嘻嘻～ ;-)

huhutc

itellin兄，我是想说想要那个湖州自行车网各个网点的车辆数据，在上面那个网站你点一下地址就能显示出来的，到网页上抓不到，你上面写的那个是地址和纬度，我前面没讲清，不好意思，我最近一直在关注你的博客，看你写的抓取，多多想您学习

itellin

可借车数：http://218.93.33.59:85/map/huzhoumap/ibikegif.asp?id=7&flag=1
可停车位：http://218.93.33.59:85/map/huzhoumap/ibikegif.asp?id=7&flag=2
这个id就是前面bike里面的id.
但这两个数非常不稳定，一会有，一会没有，有耐心你自己试吧。

cosbaicai

[未知用户]
看到大神们的讨论好高端，我刚刚开始学R一个月左右，看的《统计建模与R软件》入门的，现在在看《数据挖掘与R》，但是感觉还是啥都不会，包太多了，不会用，想以后做数据分析和数据挖掘这块的工作，现在很迷茫，不知道下一布怎么走，之前学java也不是这样子啊，求大神能指点迷津，跪谢！

libingfei

[未知用户]

你说的都对。

对于你说的学习方法：
你说的学习方法很适合具有较强自制力的人，我认为这种人可以称为天才。
现实中，也有像我这样的凡人看书，查资料很快就睡着了。
只有遇到有趣问题时，才会翻翻书，查查文献。很多时候资料都不看先算，等撞墙了再查资料。
若是没遇到感兴趣的问题就看看动漫、逛逛论坛，只求活的轻松。

manstein

楼主你好，看了这个帖子收获很多，我接触R差不多3个月，发现R特点就是包很多，需要自己熟悉。比如这个RVEST，感觉抓取的功能很强大，但涉及RVEST的语句还是不太明白，我看到个RVEST的包官方介绍网站http://www.r-bloggers.com/rvest-easy-web-scraping-with-r/，请问除了这个还能从哪了解这个包，谢谢