批量搜索并抓取结果，需要什么工具？

angelleng

我想用Google Scholar批量搜索论文标题并从搜索结果中抓取作者，年份，引用等信息。可以在R里实现吗？应该用什么包／工具呢？

angelleng

找到了一个叫做scholar的python程序。
不过不能批量操作。

angelleng

更新一下搜索成果：
在R里和scholar有关的工具有：scholar包，以及JHU的一个函数库：http://biostat.jhsph.edu/~jleek/code/googleCite.r
scholar包功能比较有限，必须知道每个学者的id，而这个id只能在学者的profile page的url里找到。。。得到的结果都是关于该学者的。
JHU的那个函数库看起来功能多一点，也可以通过文章的url检索了，但是不知道为什么在我的电脑上用不了。由于我还没弄清楚怎么在R上debug，所以还不知道是什么原因>_<

另外有人用python写了一个程序scholar.py，非常好用，达到了api的标准。但是极可能是因为我用的是学校的电脑不能在admin的文件夹添加beautifulsoup module，所以无法在R里调用这个程序。

所以目前还没有解决问题……

顺便求回复～ @COSers

Ihavenothing

没有试过，不过我猜一个暴力方法是模拟表单提交，然后解析网页……

angelleng

[未知用户]
谢～怎么做呢？有比较像的例子吗？
这个也可以接受，只要给我指明一个工具。。

Ihavenothing

[未知用户]

比如这样的：

library(RCurl)
library(XML)
doc = getURL("http://scholar.google.com/scholar?q=regression")

parser = htmlParse(doc, asText = TRUE)
res = getNodeSet(parser, "//div[@class='gs_a']")
sapply(res, xmlValue)

[data] [1] "NR Draper, H Smith - 1981 - popline.org"
[2] "DM Bates, DG Watts - 1988 - Wiley Online Library"
[3] "J Neter, W Wasserman, MH Kutner - 1989 - Irwin Homewood, IL"
[4] "F Mosteller, JW Tukey - Addison-Wesley Series in Behavioral Science: a<80>|, 1977 - popline.org"
[5] "EJ Pedhazur - 1997 - citeulike.org"
[6] "RH Myers - Duxbury Press, Pacific Grove, 2000 - textbooks-to-succeed.info"
[7] "P Allison - 1999 - dl.acm.org"
[8] "DW Hosmer, S Lemeshow, RX Sturdivant - 2000 - Wiley Online Library"
[9] "PCB Phillips, P Perron - Biometrika, 1988 - Biometrika Trust"
[10] "J Neter, MH Kutner, CJ Nachtsheim, W Wasserman - 1996 - weibnc.com"[/data]

angelleng

原来如此。
为什么不需要发送头信息？看到大多讲rcurl的文章都写要提交头信息。
还有发送搜索的请求也可以用rcurl是吗？如果是我就去研究rcurl了。

站长大人是哪位？

[未知用户]

Ihavenothing

[未知用户]

这种简单的请求都会有默认值吧，或者本身就不需要，具体的原因我也不知道。

站长其实有几个，如果是说我的话，可以通过很多办法来挖掘啊，最简单的就是到github上的COS组比对头像。 :D

angelleng

[未知用户]
我就感觉是你！！但是找了其他地方的头像没找着。原来是github上。

多谢~

taiyanghouzi

[未知用户]

请问一下~

res = getNodeSet(parser, "//div[@class='gs_a']")

这一步中的//div[@class='gs_a'] 是怎么找到的呢，不知道怎么找到想要的那个节点

msjhfu

[未知用户]

请问这几个语句在我这里运行完后怎么啥都没有呢？
> library(XML)
> library(RCurl)
> doc = getURL("http://scholar.google.com/scholar?q=regression")
> parser = htmlParse(doc, asText = TRUE)
> parser

>
>
>

msjhfu

另外，请问，下面这两个语句中，为什么第一个就可以，但是第二个就不行、运行完啥都没有产生呢？
> x2 = htmlParse("http://finance.yahoo.com/q/hp?s=BIDU+Historical+Prices")
> x3 = htmlParse("http://cos.name/cn/topic/407943/#post-410391")
> x3
> x2