故事背景是酱紫的，我最近发现了一个很神奇的网站，名为 Sci-Hub，此网站作者提供了一些与网站浏览记录相关的数据集，我把其中一个下载下来，里面有一亿多条数据，差不多长这样： time doi ip user country city latitude longitude 1: 2017-01-01 00:01:16 10.4028/www.scientific.net/AMM.511-512.286 117 124 China Nanjing Shi 32.060255 118.796877 2: 2017-01-01 00:02:06 10.1111/j.1755-6724.2011.00377.x 177 191 China Guangzhou Shi 23.12911 113.264385 3: 2017-01-01 00:02:19 10.1093/jcr/ucw038 196 214 China Wuhan Shi 30.593099 114.305393 4: 2017-01-01 00:03:27 10.1080/15567036.2015.1057657 271 298 China Shanghai 31.230416 121.473701 5: 2017-01-01 00:03:29 10.1111/j.1755-6724.2011.00378.x 177 191 China Guangzhou Shi 23.12911 113.264385 6: 2017-01-01 00:04:48 10.1111/j.1755-6724.2011.00380.x 177 191 China Guangzhou Shi 23.12911 113.264385 其中，time 是指用户登录网站的时间，格式是“年月日时分秒”；doi 是一个长字符串，网上搜说是一篇论文的唯一标识编码；ip 是用户IP的唯一标识；user 是用户的唯一标识；country 和 city 是根据GeoIP得到的用户所属国家和城市；latitude 和 longitude 是经度和纬度。关于此网站的用法举个例子，在叼着钥匙的黑乌鸦下面的白方框中输入一个doi，比如“10.4028/www.scientific.net/AMM.511-512.286”，然后回车就会得到： https://sci-hub.se/10.4028/www.scientific.net/AMM.511-512.286 ，就能直接看到论文内容。我想要分析一下这个数据集，但是不知道DOI这个字段应该怎么用，因为无法直接从这个字段得到对应文章的年份、作者、主题等信息。不然就是像 https://sci-hub.se/10.1126/science.352.6285.508 这篇只统计出下载量最高的前几篇文章。请问各位路过的小伙伴们有没有什么思路？

@yufree 关于根据 DOI 获取文章 meta data，我记得主编以前好像有一个方法。

yuanfan 刚找了几个，可以看看，应该能解决你的问题 https://github.com/bibcure/doi2bib https://github.com/davidagraf/doi2bib2 https://github.com/ropensci/rcrossref

Cloud2016 我就是用的 rcrossref 来找的，不过 crossref 只是doi的几个注册机构之一，可能存在用crossref的 api 搜 doi 找不到 metadata 的情况，特别是很多非英语期刊用的是其他注册机构。刚刚我试了下doi2bib2好像是可以解析非英语论文的，推测可能调用了 doi 官方的api了。

yufree 谢谢！ yuanfan doi 官网的API 看能不能找到，然后用Ｒ调它检索信息，可能有点麻烦的是DOI 那么多，API调用会有并发量和总量的控制，不知道 API 调用免费额度会有多少？

Ｒ调DOI API 拿数据，可以参考我之前调用httr包拿高德数据的代码。 https://xiangyun.rbind.io/2022/02/spatial-data-visualization/ 要点可能是得先看下 DOI API 的情况

Cloud2016 回头我就琢磨下怎么用 rcrossref 吧，我只会 R，不会 Python。我下载的是 Sci-Hub 2017年的数据集，里面DOI去重以后有28773939个，只看中国的也有8785828，量确实很大。另，这个数据集没有缺失，每一条数据都有一个DOI，说明可以默认全都是网站的有效浏览。我只取中国的，按城市汇总浏览量，如下： rank city freq 1 Beijing 3807399 2 Shanghai 2915865 3 Dingxi Shi 2147668 4 Guangzhou Shi 1365568 5 Nanjing Shi 1305058 6 Wuhan Shi 1050703 7 Hangzhou Shi 962155 8 Chengdu Shi 904620 9 Changsha Shi 757669 10 Tianjin 670712 11 Xian Shi 669085 12 Zhengzhou Shi 538862 13 Hefei Shi 512964 那个“Xian Shi”我想了一会，明白是“西安市”。理论上浏览量最高的都是教育大省的省会城市，为撒浏览量第三多的会是定西市咧？

yuanfan 提供这么好的经纬度和时间信息，可以考虑从时间和空间两个角度先探索分析一波。分析文章metadata，可以再抽样，或者就某一地区全量分析 DOI 数据，DOI 确实挺多的

yuanfan 这个现象挺有意思，定西市没有知名研究机构，不太可能是自然流量。这里有两种可能：定西IP访问scihub有某种优势，所以有些自动化的文献下载工具在遴选代理服务器时总是选那边IP；另一种可能就是某个定西熊孩子写了个自动生成doi然后自动下载全文的爬虫脚本，运行后忘记关了，不过这大概率会被scihub发现。我倾向于第一种，因为现在确实有 scihub 的桌面版工具可以直接通过doi找全文。不过这也好验证，因为这里也有时间戳，前者的时间流量应该是相对平滑的，后者应该是突然出现一个高流量。

yufree 按天统计浏览量的数据长下面这样。定西市的，看起来很像是自然流量，因为跟其他城市数据一样存在周期性，且在2017年1月底2月初春节假期的时候出现过波谷，都在2017年10.7-10.29日缺失数据。对比看下北京的：还有上海的：我猜也有可能定西市存在不知名的研究机构。但也有一点不自然的地方。按小时汇总浏览量，定西市的数据看起来在每天5点、11点、16点会出现峰值，如下：其他城市如北京、上海、广州、南京、武汉等都是只在每天5点、10/11点出现峰值，如下：

我从Sci-Hub上下载了一个数据集，但是对DOI这个东西感到迷茫

dapengde

感觉要揭晓一个惊天秘密的节奏。

tctcab

画了中美日伊四个国家的当天内的访问时间分布( 中美数据太多做了点采样，每个城市10万，日本伊朗没有采样)

结果显示的是所有国家国内城市分布很一致，中国所有城市的时间分布分为三个波，日本也有三个波的趋势，美国基本都很平均，但Galloway也显示了跟中日差不多的三个峰的形状。

所以目前看来的线索显示：

三峰的解释可能是早上工作（峰1）-午饭+午休 - 下午工作（峰2） - 晚饭 - 晚上工作（峰3）来解释可能更合适，这也更接近我在国内研究生阶段的经验。而访问时间可能如@yufree 所说，服务器在中东附近，凌晨五点时对应北京时间早上十点的上班高峰，10点对应下午两三点， 16对应晚上八九点，另外三餐雷打不动判断应该是由食堂开饭时间决定。
1.1. 定西市跟中国其他市是没有区别的，依然怀疑定西其实是深圳。
日本的三个峰型与中国位置接近，但峰型向米帝的平均化接近，提示饮食习惯介于中西之间（？）
2.1 没仔细算，肉眼判断日本三峰比国内城市左偏一点点，考虑日本与中国1小时时差，算是难判断。
米帝的峰型分布提示，全米只有Galloway有食堂。
伊朗凌晨一点有个调皮的小峰，也不知道为什么
中日伊三国的开始和结束的持续时间接近（8～12小时），符合人正常作息，米帝超常待机感觉有点奇怪。

总之又出现了新的问题…

yufree

如果流量前十城市没有深圳确实离谱了，确实有可能是定西跟深圳搞混了。如果 scihub 用了trackmyip来确定城市，那么根据他们的 Dingxi IP address report，很多定西IP的ISP竟然是广东或辽宁的。虽然我不知道为啥广东辽宁的ISP会跑到甘肃提供IP，但这种莫名其妙的匹配机制很有可能是定西问题的合理解释，也就是sichub用的IP与地址对应所依赖的数据库更新不及时，甚至到现在都是错的。

yuanfan

看起来定西之谜已经解开了。至于新产生的漂亮国之谜……

Sci-Hub 2017年全年流量的24小时分布确实如 @yufree 所言，有三个峰值。

我注意到美国的流量是在7月暴增了一波，Sci-Hub全年的流量也是在7月增加了许多，于是猜测也许那年7月以前 Sci-Hub 在漂亮国被封了，7月后解封。

漂亮国2017年1-4月的24小时流量分布：

漂亮国2017年7月的24小时流量分布：

漂亮国2017年11月的24小时流量分布：

对比其1-4月和7月的图，看上去好像是图中13点是那边人们睡觉的时间，于是1-4月有过正常的峰值，后来被封了再解封以后13点左右的波谷被填平了，也许那边人们意识到要多存点备份，从7月开始混入不自然的流量。这波不自然的流量使得后来11月本该存在的波谷也被填平了。

tctcab

七月份增加其实量级不大，可能跟暑期项目或者开学有关

yuanfan

tctcab
也是哦，社畜当久了，都忘了还有暑假这回事了。

yufree

欢迎楼上各位来审稿，意见与建议可以直接用review方式在PR上添加，谢谢！@Cloud2016 @tctcab @dapengde @nan.xiao

« 上一页