holydudu lyxmoo
使用Python把表格爬下来了,用的都是现成的轮子:
注意使用selenium
模拟浏览器选择Firefox,我用Chrome老是报ERR_SSL_VERSION_OR_CIPHER_MISMATCH
的错误。
需要下载Firefox浏览器及其驱动
提取表格直接使用pandas
的现成方法pd.read_html()
import pandas as pd
from selenium import webdriver
browser = webdriver.Firefox() # 这里可能需要添加驱动文件的路径
browser.get("http://tjs.customs.gov.cn/customs/302249/302274/tjfwzn/2363290/index.html")
tb = pd.read_html(browser.page_source)[2] # read_html会把所有表格爬下来,这里选取需要的表格
tb.columns = tb.iloc[0,] # 将第一行设为表头
tb.drop([0],inplace=True)
tb.reset_index(drop=True, inplace=True)
tb
| | 贸易伙伴名称 | 字母代码 | 数字代码 |
|----: |-----------------------: |---------: |---------: |
| 0 | 阿富汗 | AFG | 101 |
| 1 | 巴林 | BHR | 102 |
| 2 | 孟加拉国 | BGD | 103 |
| 3 | 不丹 | BTN | 104 |
| 4 | 文莱 | BRN | 105 |
| 5 | 缅甸 | MMR | 106 |
| 6 | 柬埔寨 | KHM | 107 |
| 7 | 塞浦路斯 | CYP | 108 |
| 8 | 朝鲜 | PRK | 109 |
| 9 | 香港 | HKG | 110 |
| 10 | 印度 | IND | 111 |
| 11 | 印度尼西亚 | IDN | 112 |
| 12 | 伊朗 | IRN | 113 |
| 13 | 伊拉克 | IRQ | 114 |
| 14 | 以色列 | ISR | 115 |
| 15 | 日本 | JPN | 116 |
| 16 | 约旦 | JOR | 117 |
| 17 | 科威特 | KWT | 118 |
| 18 | 老挝 | LAO | 119 |
| 19 | 黎巴嫩 | LBN | 120 |
| 20 | 澳门 | MAC | 121 |
| 21 | 马来西亚 | MYS | 122 |
| 22 | 马尔代夫 | MDV | 123 |
| 23 | 蒙古 | MNG | 124 |
| 24 | 尼泊尔联邦民主共和国 | NPL | 125 |
| 25 | 阿曼 | OMN | 126 |
| 26 | 巴基斯坦 | PAK | 127 |
| 27 | 巴勒斯坦 | PSE | 128 |
| 28 | 菲律宾 | PHL | 129 |
| 29 | 卡塔尔 | QAT | 130 |
| 30 | 沙特阿拉伯 | SAU | 131 |
| 31 | 新加坡 | SGP | 132 |
| 32 | 韩国 | KOR | 133 |
| 33 | 斯里兰卡 | LKA | 134 |
| 34 | 叙利亚 | SYR | 135 |
| 35 | 泰国 | THA | 136 |
| 36 | 土耳其 | TUR | 137 |
| 37 | 阿联酋 | ARE | 138 |
| 38 | 也门 | YEM | 139 |
| 39 | 越南 | NVM | 141 |
| 40 | 中国 | CHN | 142 |
| 41 | 台澎金马关税区 | TWN | 143 |
| 42 | 东帝汶 | TLS | 144 |
| 43 | 哈萨克斯坦 | KAZ | 145 |
| 44 | 吉尔吉斯斯坦 | KGZ | 146 |
| 45 | 塔吉克斯坦 | TJK | 147 |
| 46 | 土库曼斯坦 | TKM | 148 |
| 47 | 乌兹别克斯坦 | UZB | 149 |
| 48 | 亚洲其他国家(地区) | NaN | 199 |
| 49 | 阿尔及利亚 | DZA | 201 |
| 50 | 安哥拉 | AGO | 202 |
| 51 | 贝宁 | BEN | 203 |
| 52 | 博茨瓦纳 | BWA | 204 |
| 53 | 布隆迪 | BDI | 205 |
| 54 | 喀麦隆 | CMR | 206 |
| 55 | 加那利群岛 | NaN | 207 |
| 56 | 佛得角 | CPV | 208 |
| 57 | 中非 | CAF | 209 |
| 58 | 塞卜泰(休达) | NaN | 210 |
| 59 | 乍得 | TCD | 211 |
| 60 | 科摩罗 | COM | 212 |
| 61 | 刚果(布) | COG | 213 |
| 62 | 吉布提 | DJI | 214 |
| 63 | 埃及 | EGY | 215 |
| 64 | 赤道几内亚 | GNQ | 216 |
| 65 | 埃塞俄比亚 | ETH | 217 |
| 66 | 加蓬 | GAB | 218 |
| 67 | 冈比亚 | GMB | 219 |
| 68 | 加纳 | GHA | 220 |
| 69 | 几内亚 | GIN | 221 |
| 70 | 几内亚比绍 | GNB | 222 |
| 71 | 科特迪瓦 | CIV | 223 |
| 72 | 肯尼亚 | KEN | 224 |
| 73 | 利比里亚 | LBR | 225 |
| 74 | 利比亚 | LBY | 226 |
| 75 | 马达加斯加 | MDG | 227 |
| 76 | 马拉维 | MWI | 228 |
| 77 | 马里 | MLI | 229 |
| 78 | 毛里塔尼亚 | MRT | 230 |
| 79 | 毛里求斯 | MUS | 231 |
| 80 | 摩洛哥 | MAR | 232 |
| 81 | 莫桑比克 | MOZ | 233 |
| 82 | 纳米比亚 | NAM | 234 |
| 83 | 尼日尔 | NER | 235 |
| 84 | 尼日利亚 | NGA | 236 |
| 85 | 留尼汪 | REU | 237 |
| 86 | 卢旺达 | RWA | 238 |
| 87 | 圣多美和普林西比 | STP | 239 |
| 88 | 塞内加尔 | SEN | 240 |
| 89 | 塞舌尔 | SYC | 241 |
| 90 | 塞拉利昂 | SLE | 242 |
| 91 | 索马里 | SOM | 243 |
| 92 | 南非 | ZAF | 244 |
| 93 | 西撒哈拉 | ESH | 245 |
| 94 | 苏丹 | SDN | 246 |
| 95 | 坦桑尼亚 | TZA | 247 |
| 96 | 多哥 | TGO | 248 |
| 97 | 突尼斯 | TUN | 249 |
| 98 | 乌干达 | UGA | 250 |
| 99 | 布基纳法索 | BFA | 251 |
| 100 | 刚果(金) | COD | 252 |
| 101 | 赞比亚 | ZMB | 253 |
| 102 | 津巴布韦 | ZWE | 254 |
| 103 | 莱索托 | LSO | 255 |
| 104 | 梅利利亚 | NaN | 256 |
| 105 | 斯威士兰 | SWZ | 257 |
| 106 | 厄立特里亚 | ERI | 258 |
| 107 | 马约特 | MYT | 259 |
| 108 | 南苏丹共和国 | NaN | 260 |
| 109 | 非洲其他国家(地区) | NaN | 299 |
| 110 | 比利时 | BEL | 301 |
| 111 | 丹麦 | DNK | 302 |
| 112 | 英国 | GBR | 303 |
| 113 | 德国 | DEU | 304 |
| 114 | 法国 | FRA | 305 |
| 115 | 爱尔兰 | IRL | 306 |
| 116 | 意大利 | ITA | 307 |
| 117 | 卢森堡 | LUX | 308 |
| 118 | 荷兰 | NLD | 309 |
| 119 | 希腊 | GRC | 310 |
| 120 | 葡萄牙 | PRT | 311 |
| 121 | 西班牙 | ESP | 312 |
| 122 | 阿尔巴尼亚 | ALB | 313 |
| 123 | 安道尔 | AND | 314 |
| 124 | 奥地利 | AUT | 315 |
| 125 | 保加利亚 | BGR | 316 |
| 126 | 芬兰 | FIN | 318 |
| 127 | 直布罗陀 | GIB | 320 |
| 128 | 匈牙利 | HUN | 321 |
| 129 | 冰岛 | ISL | 322 |
| 130 | 列支敦士登 | LIE | 323 |
| 131 | 马耳他 | MLT | 324 |
| 132 | 摩纳哥 | MCO | 325 |
| 133 | 挪威 | NOR | 326 |
| 134 | 波兰 | POL | 327 |
| 135 | 罗马尼亚 | ROM | 328 |
| 136 | 圣马力诺 | SMR | 329 |
| 137 | 瑞典 | SWE | 330 |
| 138 | 瑞士 | CHE | 331 |
| 139 | 爱沙尼亚 | EST | 334 |
| 140 | 拉脱维亚 | LVA | 335 |
| 141 | 立陶宛 | LTU | 336 |
| 142 | 格鲁吉亚 | GEO | 337 |
| 143 | 亚美尼亚 | ARM | 338 |
| 144 | 阿塞拜疆 | AZE | 339 |
| 145 | 白俄罗斯 | BLR | 340 |
| 146 | 摩尔多瓦 | MDA | 343 |
| 147 | 俄罗斯联邦 | RUS | 344 |
| 148 | 乌克兰 | UKR | 347 |
| 149 | 塞尔维亚和黑山 | NaN | 349 |
| 150 | 斯洛文尼亚 | SVN | 350 |
| 151 | 克罗地亚 | HRV | 351 |
| 152 | 捷克 | CZE | 352 |
| 153 | 斯洛伐克 | SVK | 353 |
| 154 | 北马其顿 | MKD | 354 |
| 155 | 波黑 | BIH | 355 |
| 156 | 梵蒂冈城国 | VAT | 356 |
| 157 | 法罗群岛 | FRO | 357 |
| 158 | 塞尔维亚 | SRB | 358 |
| 159 | 黑山 | MNE | 359 |
| 160 | 欧洲其他国家(地区) | NaN | 399 |
| 161 | 安提瓜和巴布达 | ATG | 401 |
| 162 | 阿根廷 | ARG | 402 |
| 163 | 阿鲁巴 | ABW | 403 |
| 164 | 巴哈马 | BHS | 404 |
| 165 | 巴巴多斯 | BRB | 405 |
| 166 | 伯利兹 | BLZ | 406 |
| 167 | 多民族玻利维亚国 | BOL | 408 |
| 168 | 博内尔 | NaN | 409 |
| 169 | 巴西 | BRA | 410 |
| 170 | 开曼群岛 | CYM | 411 |
| 171 | 智利 | CHL | 412 |
| 172 | 哥伦比亚 | COL | 413 |
| 173 | 多米尼克 | DMA | 414 |
| 174 | 哥斯达黎加 | CRI | 415 |
| 175 | 古巴 | CUB | 416 |
| 176 | 库腊索岛 | NaN | 417 |
| 177 | 多米尼加共和国 | DOM | 418 |
| 178 | 厄瓜多尔 | ECU | 419 |
| 179 | 法属圭亚那 | GUF | 420 |
| 180 | 格林纳达 | GRD | 421 |
| 181 | 瓜德罗普 | GLP | 422 |
| 182 | 危地马拉 | GTM | 423 |
| 183 | 圭亚那 | GUY | 424 |
| 184 | 海地 | HTI | 425 |
| 185 | 洪都拉斯 | HND | 426 |
| 186 | 牙买加 | JAM | 427 |
| 187 | 马提尼克 | MTQ | 428 |
| 188 | 墨西哥 | MEX | 429 |
| 189 | 蒙特塞拉特 | MSR | 430 |
| 190 | 尼加拉瓜 | NIC | 431 |
| 191 | 巴拿马 | PAN | 432 |
| 192 | 巴拉圭 | PRY | 433 |
| 193 | 秘鲁 | PER | 434 |
| 194 | 波多黎各 | PRI | 435 |
| 195 | 萨巴 | NaN | 436 |
| 196 | 圣卢西亚 | LCA | 437 |
| 197 | 圣马丁岛 | NaN | 438 |
| 198 | 圣文森特和格林纳丁斯 | VCT | 439 |
| 199 | 萨尔瓦多 | SLV | 440 |
| 200 | 苏里南 | SUR | 441 |
| 201 | 特立尼达和多巴哥 | TTO | 442 |
| 202 | 特克斯和凯科斯群岛 | TCA | 443 |
| 203 | 乌拉圭 | URY | 444 |
| 204 | 委内瑞拉 | VEN | 445 |
| 205 | 英属维尔京群岛 | VGB | 446 |
| 206 | 圣其茨和尼维斯 | KNA | 447 |
| 207 | 圣皮埃尔和密克隆 | SPM | 448 |
| 208 | 荷属安的列斯 | ANT | 449 |
| 209 | 拉丁美洲其他国家(地区) | NaN | 499 |
| 210 | 加拿大 | CAN | 501 |
| 211 | 美国 | USA | 502 |
| 212 | 格陵兰 | GRL | 503 |
| 213 | 百慕大 | BMU | 504 |
| 214 | 北美洲其他国家(地区) | NaN | 599 |
| 215 | 澳大利亚 | AUS | 601 |
| 216 | 库克群岛 | COK | 602 |
| 217 | 斐济 | FJI | 603 |
| 218 | 盖比群岛 | NaN | 604 |
| 219 | 马克萨斯群岛 | NaN | 605 |
| 220 | 瑙鲁 | NRU | 606 |
| 221 | 新喀里多尼亚 | NCL | 607 |
| 222 | 瓦努阿图 | VUT | 608 |
| 223 | 新西兰 | NZL | 609 |
| 224 | 诺福克岛 | NFK | 610 |
| 225 | 巴布亚新几内亚 | PNG | 611 |
| 226 | 社会群岛 | NaN | 612 |
| 227 | 所罗门群岛 | SLB | 613 |
| 228 | 汤加 | TON | 614 |
| 229 | 土阿莫土群岛 | NaN | 615 |
| 230 | 土布艾群岛 | NaN | 616 |
| 231 | 萨摩亚 | WSM | 617 |
| 232 | 基里巴斯 | KIR | 618 |
| 233 | 图瓦卢 | TUV | 619 |
| 234 | 密克罗尼西亚联邦 | FSM | 620 |
| 235 | 马绍尔群岛 | MHL | 621 |
| 236 | 帕劳 | PLW | 622 |
| 237 | 法属波利尼西亚 | PYF | 623 |
| 238 | 瓦利斯和浮图纳 | WLF | 625 |
| 239 | 大洋洲其他国家(地区) | NaN | 699 |
| 240 | 国(地)别不详 | NaN | 701 |
| 241 | 联合国及机构和国际组织 | NaN | 702 |