京东商城手机价格问题

zggjtsgzczh

[未知用户]

对扒数据感兴趣可以看看fiddler，也是一个深似海的领域。你的这个代码可以进一步开发出京东手机价格变动的策略分析模型。

顺便对你之前的一些看法提供一些建议：

建议你先做个时间规划，然后确定一个目的，并设计一个知识框架学习路线图。提前测试一下看在给定的时间范围内是否能够达成预期，然后系统性的掌握一个门类，这样的优点在于你可以掌握控制权，而不是由外部随机出现的兴趣点所控制，消耗的大量精力值获得一些零散的不系统的知识，而且还会很快“过期”。

关于那个方差，其实他只是数学分析上的一个工具，针对一个数学性质的表述。当人们面对实践问题时，如果认为他希望获得的信息符合这种数学性质的特征，那么它就可以使用这个公式进行表达。而如果他需要获得信息非常复杂，就可以把把其拆分为多个子信息，然后通过相应的数学性质认定，确认相应的公式，最后通过数学模型把这些数学公式组合起来就可以得到自己所希望获得的信息。

所以，没有固定的方法和模式，有的是你如何认定你所要获得的信息的数学性质，然后才是寻找公式和建构模型。因此你需要先掌握现有的一般分析方法，然后才是创造自己的分析工具。这就像外科医生，所有的手术器械都有，但总还是有一些特殊的手术需求需要你去创造新的手术器械，去完成一个手术操作。你所认为的方差问题，就像一个实习外科医生发现手术刀的刀刃过窄，而不能去处理一些骨关节内部的组织剥离手术，然后就说这刀不好使。如果你有能力造一个更好的，外科主任一定会对你“刮目相看”的，而不是把你看作一个喜欢抱怨的新人。就像谢益辉最初写knirt包的动机和现在大家对这个包的承认那样。这是一个契机。 :)

itellin

[未知用户]
和你交流，确实可以撞击出一些火花。
的确，我入这行比较晚，大概在去年10月才开始关注机器学习的。之前一直在金融领域里面混，正是在研究金融价格波动的过程中发现人们对方差的理解出现了问题，于是转变思路，从黎曼换成勒贝格，一切豁然开朗，由勒贝格的视角，均值和方差是独立关系，他们的联系受制于采样时间，其基本关系：采样时间 = 均值X方差/2,这个关系很眼熟吧，就是三角形的面积公式，均值就是三角形的高，方差就是三角形的底，通过频率把时间和空间统一起来。通常时间是固定的，而均值，方差是变化的，当均值和方差知道了一个的时候，另一个也就计算出来了，因为他们不同步，从而解决了随机行走的问题。完成了金融领域的工作后，便想能否把这套思路用到机器学习中，一进这个门，发现好多东西都不会，便又开始了折腾之旅。

HarryYu

[未知用户]

我还是觉得金融更好，你说的关系式，突然一看我吓了一跳。
我现在已经开始放弃方差了，不是说与方差为敌，而是自己看着看着书，会随手记下一些心得，有一次我就这么写的，“尽量不用方差”。

根据你的公式，已知两个量可以求出第三个量。这个思路是对的。其实这个思路背后有一层更深的思路，那就是通过三个量（的变化）可以确定出两个量（的变化）。我现在就这么搞。

但是我还是支持你在'rvest'上面继续自己的想法。

huhutc

楼主你好，如果我想获取这个网站上的表格数据http://www.pm25.in/rank
代码改怎么写呢？希望您有空看下

huhutc

[未知用户]
还有一个就是能用rvest实现实时么？

itellin

> dat = url %>% html(encoding = 'utf-8') %>% html_table() %>% as.data.frame
>  names(dat) = c('排名','城市','AQI','空气质量','首要污染物','PM2.5','PM10','CO','NO2','O3_8h','SO2','二氧化硫')
>  head(dat)
  排名   城市 AQI 空气质量 首要污染物 PM2.5 PM10    CO NO2 O3_8h SO2 二氧化硫
1    1 甘孜州  26       优               17   25 0.255  10    54  32        4
2    2   玉溪  31       优               20   30 1.095  16    42  41       11
3    3 迪庆州  32       优               17   16 2.345  18    57  63       16
4    4 楚雄州  35       优               19   34 0.817  16    25  31       22
5    5 阿坝州  35       优               24   26 0.816  32    35  48        6
6    6   绥化  36       优               23   35 0.923  22    48  51       40

rvest和实时没有什么关系吧。

huhutc

哦，那实时应该用另外的包写的，我想问下想这种http://bike.zjhzgj.com/Station.asp网站，好像在源代码中看不到数据哎，是不是就不能把数据弄下来了？

itellin

library(RCurl)
library(rjson)
url = "http://218.93.33.59:85/map/huzhoumap/ibikestation.asp"
dat = getURL(url,.encoding = 'utf-8')
dat = substr(dat,regexpr("\\[",dat)[1],regexpr("\\]",dat)[1])
p = fromJSON(dat)
bike = do.call(rbind,p)
> head(bike)
     id name           lat      lng      address
[1,] 1  "爱山广场西"   30.8686  120.0995 ""     
[2,] 2  "爱山广场东"   30.8685  120.1031 ""     
[3,] 3  "衣裳街"       30.86485 120.1019 ""     
[4,] 4  "铁佛寺"       30.8666  120.0977 ""     
[5,] 5  "潘家廊湖鲜街" 30.87206 120.1136 ""     
[6,] 6  "全民健身中心" 30.86969 120.1047 ""

ryo

[未知用户]

itellin兄，咱也刚学习不久而已，日后还得多多指教哦！嘻嘻～ ;-)

huhutc

itellin兄，我是想说想要那个湖州自行车网各个网点的车辆数据，在上面那个网站你点一下地址就能显示出来的，到网页上抓不到，你上面写的那个是地址和纬度，我前面没讲清，不好意思，我最近一直在关注你的博客，看你写的抓取，多多想您学习

itellin

可借车数：http://218.93.33.59:85/map/huzhoumap/ibikegif.asp?id=7&flag=1
可停车位：http://218.93.33.59:85/map/huzhoumap/ibikegif.asp?id=7&flag=2
这个id就是前面bike里面的id.
但这两个数非常不稳定，一会有，一会没有，有耐心你自己试吧。

cosbaicai

[未知用户]
看到大神们的讨论好高端，我刚刚开始学R一个月左右，看的《统计建模与R软件》入门的，现在在看《数据挖掘与R》，但是感觉还是啥都不会，包太多了，不会用，想以后做数据分析和数据挖掘这块的工作，现在很迷茫，不知道下一布怎么走，之前学java也不是这样子啊，求大神能指点迷津，跪谢！

libingfei

[未知用户]

你说的都对。

对于你说的学习方法：
你说的学习方法很适合具有较强自制力的人，我认为这种人可以称为天才。
现实中，也有像我这样的凡人看书，查资料很快就睡着了。
只有遇到有趣问题时，才会翻翻书，查查文献。很多时候资料都不看先算，等撞墙了再查资料。
若是没遇到感兴趣的问题就看看动漫、逛逛论坛，只求活的轻松。

manstein

楼主你好，看了这个帖子收获很多，我接触R差不多3个月，发现R特点就是包很多，需要自己熟悉。比如这个RVEST，感觉抓取的功能很强大，但涉及RVEST的语句还是不太明白，我看到个RVEST的包官方介绍网站http://www.r-bloggers.com/rvest-easy-web-scraping-with-r/，请问除了这个还能从哪了解这个包，谢谢

itellin

[未知用户]
看懂随包自带的3个案例就会了，其他还有什么我也不知道。