一个学校的师生在校园网内是共享一个IP吗？

yuanfan

楼主最近在鼓捣 Sci-Hub 的下载日志数据，其中有一个IP对应了170723个用户，最初猜测这一定是爬虫造成的异常流量，后来又发现另外一种可能性。

数据长下面这样：

                   time                           doi       ip     user     country      city   latitude longitude
 1: 2017-09-01 05:34:28  10.1109/wispnet.2016.7566124 12247800 32451679 Netherlands Amsterdam 52.3702157 4.8951679
 2: 2017-09-01 05:38:07    10.1109/SECON.2013.6567420 12247800 32452228 Netherlands Amsterdam 52.3702157 4.8951679
 3: 2017-09-01 05:40:05 10.1016/s0140-7007(01)00025-1 12247800 32452474 Netherlands Amsterdam 52.3702157 4.8951679
 4: 2017-09-01 05:42:50     10.1108/09685221111188584 12247800 32452808 Netherlands Amsterdam 52.3702157 4.8951679
 5: 2017-09-01 05:47:56       10.1145/2046707.2046774 12247800 32453478 Netherlands Amsterdam 52.3702157 4.8951679
 6: 2017-09-01 05:48:19       10.1145/2435349.2435365 12247800 32453519 Netherlands Amsterdam 52.3702157 4.8951679
 7: 2017-09-01 05:50:21        10.1109/SysSec.2011.28 12247800 32453780 Netherlands Amsterdam 52.3702157 4.8951679
 8: 2017-09-01 05:51:29       10.1145/2752952.2752976 12247800 32453919 Netherlands Amsterdam 52.3702157 4.8951679
 9: 2017-09-01 05:52:07          10.1109/WCRE.2012.34 12247800 32454000 Netherlands Amsterdam 52.3702157 4.8951679
10: 2017-09-01 05:52:47       10.1145/1629575.1629604 12247800 32454114 Netherlands Amsterdam 52.3702157 4.8951679

此IP的每日流量趋势图如下：

24小时流量趋势图如下：

此 ip 从2017.9.1开始出现，扣除10.7至10.29的22天数据缺失，截止2017.12.31日共出现了100天，贡献了17万多流量。原先以为这肯定不是正常流量，应该是爬虫抓取数据造成的，可是这样的话就解释不了为撒会有一个那么明显的波谷。

今天无意中搜到有个学校叫阿姆斯特丹大学，很厉害的样子，出过6位诺贝尔奖得主咧，于是又瞎猜有没有可能是那个学校的校园网里上 Sci-Hub 的人共享了同一个IP 。

这里说明一下，Sci-Hub的数据里IP字段是用数字表示的，并没有细说IP指的是一个网络访问协议，还是跟踪到设备的更具体的IP地址。

yihui

yuanfan 局域网内的所有用户对外都是同一个 IP，大学里一般都是局域网（至少在我上大学时如此），因为 IPv4 的地址很有限，不能奢侈地给每个人分配一个 IP。2002 年我在北大同学宿舍发现他们的电脑都是有单独的公网 IP，表示非常羡慕嫉妒，但我估计现在应该都变了；当然也许 IPv6 普及后又可以回到每个人一个 IP 的奢侈时代。我也不知道现状如何。

Cloud2016

yuanfan 你在文中引用的数据源里有相应的文章分析，不知道你事先是否有看一下，这对于了解这些数据字段应该是有帮助的。

yuanfan

yihui

搜嘎。我忽然想到可以问问列弛 @Liechi，科研所应该跟学校一样也是局域网吧？列弛们都是一人一个IP，还是共用少数几个呢？

Cloud2016

yihui 我在学校的时候，宿舍支持 IPv6 宿舍内，大家的 IP 地址连号

Cloud2016

Cloud2016 我们也有网线，但是听 yihui 这么一说，感觉应该是局域网，而且刚上大学时必须配置 IP 后来又不需要配置 IP 了，插网线就行，可能是 IP 动态分配了。
P.S. 我对网络什么的基本无知。

Liechi

yuanfan 这个没留意过。

fenguoerbian

不会少到每个学校只有一个出口IP，但也不会多到能每个学生都分到一个固定公网IP

yufree

其实可以从论文角度来看是不是人做的，就算是爬虫也不会毫无目的乱爬，至少要有个学科限制，多数人搞爬虫也就是想把自己关心的那部分期刊下载下来，没必要直接拖库。但要是一个高校学科就五花八门了，doi的设计里截取10.xxx斜杠后点号前的部分大致可代表期刊，当然也有很多不按套路出牌的，但10.xxx里那个xxx代表的是同一个doi注册处，起码一个注册地的期刊套路是类似的。其实单纯考虑doi也是个不错的数据挖掘课题，当然我只管挖坑不管埋。
另外，国内大学内ip是教育网的，每个大学能分到的ipv4的IP确实有限，但我上学那个年代记得是可以在宿舍里拉电信或联通的外网的，很多人为了玩网游都单开线。这里的一个问题就是教育网很可能是有文献权限而不用scihub的，而没权限的外网ip归属地就属于玄学了，仅能保证是一个城市的。

yuanfan

yufree

这个脑洞坑开得不错，不过容我先把自己想写的写完，填不填另说。

这一个IP流量大，但是又有一个明显波谷。如果是一个IP很多人用的话，能说得过去。如果是一个IP几个人用但是同时使用机器抓文献，也能说得过去。如果是一个IP全是机器抓文献，但是机器开关由人来控制，于是存在波谷，好像也说得过去。
这样看，即使把文献所属学科全都搞下来，也还是不一定能找到一个百分百确定性的答案。

话说我这样探索定西流量来源，最终真得是为了寻找一个确定性的答案么。我总觉得确定性和不确定性是混着来的，这是数据分析的一体两面，好像只要我自己探索分析再权衡取舍一番，认定一个平衡点就可以了。

yuanfan

Cloud2016

之前看过这篇：https://sci-hub.se/10.1126/science.352.6285.508。不过不能说看过，我英文菜只是跳着看了点开头结尾，以及那些图。当时觉得文章里都是一些汇总，对我深究定西流量没撒帮助，也就没细看。

2015.9-2016.2的数据是这样的，还没记录用户：

                   time                             doi            ip       country       city                 lat-lon
 1: 2015-09-01 00:00:00       10.1007/s10439-013-0829-z 56ed2b74a66a1      Colombia   Medellín   6.2530408,-75.5645737
 2: 2015-09-01 00:00:00   10.1016/s0894-7317(12)00840-1 56ed2b712d760 United States    Buffalo  42.9405299,-78.8697906
 3: 2015-09-01 00:00:00       10.1016/j.jmv.2014.04.008 56ed2b6e2d9ab United States   New York  40.7830603,-73.9712488
 4: 2015-09-01 00:00:01       10.1016/j.gie.2011.12.024 56ed2b6f4d2c4         China    Beijing    39.904211,116.407395
 5: 2015-09-01 00:00:01       10.1016/j.vph.2013.01.001 56ed2b02bb5ad         Chile   Valdivia -39.8173788,-73.2425333
 6: 2015-09-01 00:00:02      10.1016/j.jada.2004.05.056 56ed2b74a4d40      Portugal   Odivelas      38.795369,-9.18518
 7: 2015-09-01 00:00:03      10.1016/j.jflm.2011.12.018 56ed2b64dc78f         China   Wuxi Shi      31.49117,120.31191
 8: 2015-09-01 00:00:04 10.1016/j.euroneuro.2014.05.008 56ed2b6e9207e United States Scottsdale 33.4941704,-111.9260519
 9: 2015-09-01 00:00:04    10.1016/j.emcrad.2005.09.002 56ed2b0d39853       Morocco     Settat   32.9924242,-7.6222665
10: 2015-09-01 00:00:04   10.1016/S0266-7681(84)80036-4 56ed2b0ed44f4       Croatia Donji Čehi    45.7397067,15.960624

2011-2013那段时间的数据是这样的：

                   time                      doi
 1: 2011-09-22 22:29:24       10.1007/BF01907940
 2: 2011-09-22 22:31:38                         
 3: 2011-09-22 22:38:23                         
 4: 2011-09-22 23:10:13 10.1002/iroh.19850700102
 5: 2011-09-22 23:53:35      10.1021/bi00186a020
 6: 2011-09-22 23:56:31      10.1021/bi00179a012
 7: 2011-09-22 23:57:20      10.1021/bi00179a012
 8: 2011-09-22 23:57:58       10.1039/C1LC20387H
 9: 2011-09-23 00:09:27                         
10: 2011-09-23 01:09:59     10.1039/P19880000283
                                                                                                                                                      url
 1:                                                                                            www.springerlink.com/content/ppt42929g7645548/fulltext.pdf
 2:                                                                                                 www.landesbioscience.com/journals/cc/Wang2CC10-17.pdf
 3:                                                                                                 www.landesbioscience.com/journals/cc/Wang2CC10-17.pdf
 4:            onlinelibrary.wiley.com/store/10.1002/iroh.19850700102/asset/19850700102_ftp.pdf?v=1&t=gsw4935j&s=6d93dc031d42ca41724be93bca5b14553dacb214
 5:                                                                                                              pubs.acs.org/doi/pdf/10.1021/bi00186a020
 6:                                                                                                              pubs.acs.org/doi/pdf/10.1021/bi00179a012
 7:                                                                                                              pubs.acs.org/doi/pdf/10.1021/bi00179a012
 8:                                                                                                 pubs.rsc.org/en/content/articlepdf/2011/lc/c1lc20387h
 9: www.sciencedirect.com/science?_ob=MiamiImageURL&_cid=276829&_user=963248&_pii=S1874939908002691&_check=y&_origin=&_coverDate=31-Mar-2009&view=c&wchp=
10:                                                                                               pubs.rsc.org/en/content/articlepdf/1988/p1/p19880000283
               ip unknown country
 1:  213.87.138.* -176088  Russia
 2:  217.118.78.*  -60179  Russia
 3:  217.118.78.*  -60179  Russia
 4: 178.140.229.* -256482  Russia
 5: 178.140.229.* -256482  Russia
 6: 178.140.229.* -256482  Russia
 7: 178.140.229.* -256482  Russia
 8:  79.139.210.* -210066  Russia
 9: 178.140.229.* -256482  Russia
10:  176.14.233.*  -52069  Russia

有一天不记得在那篇文章看到过下面这句，让我感觉Sci-Hub在不同时期记录的数据可能是不一致的，于是对2017年的ip字段感到更加迷惑。

there are no IP addresses, IP addresses were aggre-gated to the nearest city location