请问如何抓这个大宗交易数据？

warrenzhang

原始数据在

http://www.sse.com.cn/disclosure/diclosure/block/#

我想根据指定的参数查找数据（“大宗交易历史信息查询”里面填上日期、股票代码），点击“查找”后用live http header找到如下地址：

http://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback49133&isPagination=true&sqlId=COMMON_SSE_XXPL_JYXXPL_DZJYXX_L&stockId=600000&startDate=&endDate=&pageHelp.pageSize=20&pageHelp.cacheSize=5&num=&_=1361428063642

请问之后应该如何处理？"jsonCallBack"是什么意思？谢谢！

ypchen

帮楼主再进一步吧我用chrome看了一下得出的那个地址复制到地址栏得不出什么但是在chrome里可以预览出数据来请注意下图右下角的部分

dengyishuo

貌似涉及JS，涉及JS的东西很难搞。坐等高手。

helend

楼主应该把需求写的更清楚一些。

如果涉及的数据量比较大，最好用Python发送HTTP的Get和Post命令来抓取数据。如果楼主想知道需要发送那些信息，可以使用firefox插件httpfox。

warrenzhang

回复第3楼的 dengyishuo：回复第2楼的 ypchen：查了查，好像用的是jsonp技术，不太懂。。。坐等高手。。。

回复第4楼的 helend：我用的是firefox的live http header应该达到同样的效果吧，问题就是按照live http header抓取的get命令发送过去，会显示错误。

微微

最后知道真相的你眼泪掉下来。。。

以stockId=600000为例（已经删掉cookie参数）

<br />
library(RCurl)<br />
library(XML)</p>
<p>myHttpheader<- c("Referer"="http://www.sse.com.cn/disclosure/diclosure/block/")<br />
cHandle<- getCurlHandle(httpheader = myHttpheader)<br />
add <-"http://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback64836&isPagination=true&sqlId=COMMON_SSE_XXPL_JYXXPL_DZJYXX_L&stockId=600000&startDate=&endDate=&pageHelp.pageSize=20&pageHelp.cacheSize=5&num=&_=1361946865146"</p>
<p>temp<- getForm(add,.params=c(stockId="600000"),curl=cHandle)<br />

</p>

ypchen

回复第6楼的微微：原来还藏有这样的玄机？原理是什么呢？

superdesolator

同求原理

warrenzhang

回复第6楼的微微：niubility!多谢！

貌似那个cookie参数很关键。

微微

回复第9楼的 warrenzhang：

汗，你提醒我了，那个cookie参数不需要可以删掉，我是前面测试的代码不小心带过来了。

关键是httpheader里的参数Referer"="http://www.sse.com.cn/disclosure/diclosure/block/"

一般的网站有没有referer不影响，这个网站只认可从主页跳来的查询，所以如果把查询链接直接输入地址栏则显示错误。

为什么这么做要问程序猿了。

superdesolator

回复第10楼的微微：微微大大，不知道可否请你写一篇关于RCurl的入门指导呢，目标的话就是使我们这帮菜鸟能够基本完成抓取一个网页的数据。。

我看第一个写这个帖子的MEDO等人应该不会再写了，你能否写篇这方面的东西呢。。

causu

回复第10楼的微微：同求RCurl的入门指导。