如何抓取下述网页中的数据

dengyishuo

网页如下：

http://vol.stock.hexun.com/Now/share/DealDetail.shtml?rank=3&code=000063

nan.xiao

这个很简单啊你跟一下不就知道了？

http://vol.stock.hexun.com/Now/Share/DealDetail_1.ashx?rank=3&dealtype=1&code=000063

调参数就行了比如这个 dealtype = 1 对应着"超级大单" 0则对应"全部"

而DealDetail_1.ashx接受的参数和DealDetail.shtml接受的参数按理说会是一样的

总的来说 ajax异步加载的网页很难抓但是他这个确实运气很好看看源码一下就出来了

yihui

回复第2楼的 nan.xiao：牛！

dengyishuo

回复第2楼的 nan.xiao：牛！

uunet

回复第4楼的 dengyishuo：干嘛不找个方便的数据源。

dengyishuo

回复第5楼的 uunetcom：比如哪些呢？

uunet

回复第6楼的 dengyishuo：淘宝上一大堆或者p2p那个实时接口 http://www.nezip.net/thread-1-1-1.html

但是取数据都需要知道怎么用消息这个就不懂了。

还有个例子 http://www.tsking.net/viewthread.php?tid=6173

没看懂

邓大爷就靠你的脑细胞了.....

dengyishuo

回复第7楼的 uunetcom：谢过。飞狐那个我看过，总觉得没这个好用。

uunet

回复第8楼的 dengyishuo：给你说个简单的办法新版pobo3 有股票tick文件格式很简单手动刷新直接读。就是时间要自己做位移转换 R里没法做。

dengyishuo

回复第9楼的 uunetcom：呵呵。还是直接读进来的好，而且现在已经可以用R直接读入实时交易数据了。

uunet

回复第10楼的 dengyishuo：哪里搞的数据源？有接口不？

Carmen_wl

我倒是有借口不过一些交易代码得自己编很麻烦

uunet

回复第12楼的 Carmen_wl：什么借口怎么获得数据。通过窗口消息么

huangziwei

哇。。很先进。。

dengyishuo

回复第14楼的 huangziwei：感兴趣的话，以后经常来访吧。[s:11]

Carmen_wl

我的数据接口是一个不错的交易平台，不过测试帐号有限，用的话最好限定一个范围人太多了会冲突。。。

nan.xiao

今天找到了一个容易操作的简便方法。

Chromium 打开页面，按 F12 或扳手 -> 工具 -> 开发人员工具，切到 Network 标签，下方切到 XHR. 然后用鼠标点击触发 AJAX 行为，点选截获的请求就可以看到真相了。

Firefox 下使用 Firebug 过程也是一样的。

以前还是图样图森破。

nan.xiao

LS 的方式也就是我以前用的，不是不可以，只是有时不太方便。

http://movie.douban.com/subject/4807924/

比如用影评标题右侧的两个向下箭头展开第一个影评，由于这里的 JS 是压缩过的，自己拼 URL 会很麻烦。而用浏览器的调试工具直接就可以得到

http://movie.douban.com/j/review/5485557/fullinfo?show_works=False