网页的中文编码

微微

<br />
library(XML)<br />
address<-"http://www.stats.gov.cn/tjsj/qtsj/zygypccjg/t20110811_402746338.htm"<br />
doc<-htmlTreeParse(address,encoding ="gb2312",useInternal=TRUE)<br />
getNodeSet(doc, "//tbody/tr[1]/td")<br />

我设置了encoding ="gb2312",但读到的还是乱码。这是怎么回事呢？先谢谢各位！

G_will

我这里可以啊。是win吗？[s:12]

微微

回复第2楼的 G_will：是的，输出的有点儿长，乱码在这里“<span style="FONT-FAMILY: 瀹嬩綋; mso-bidi-font-size”。

我用readLines直接读的又没问题。

单位的电脑很多权限都没有。。。。。。

nan.xiao

<br />
require(XML)<br />
url = 'http://www.stats.gov.cn/tjsj/qtsj/zygypccjg/t20110811_402746338.htm'<br />
doc = htmlTreeParse(url, useInternal = TRUE)<br />
getNodeSet(doc, path = "//tbody/tr[1]/td")</p>
<p>[[1]]<br />
...</p>
<p><span style="FONT-FAMILY: 宋体; mso-bidi-font-size: 9.0pt; mso-ascii-font-family: 'Times New Roman'; mso-hansi-font-family: 'Times New Roman'; mso-bidi-font-family: Arial; mso-font-kerning: 0pt">产品名称</span><span style="mso-bidi-font-size: 9.0pt; mso-bidi-font-family: Arial; mso-font-kerning: 0pt" lang="EN-US" xml:lang="EN-US"> ...</p>
<p>[[2]]<br />
...</p>
<p>attr(,"class")<br />
[1] "XMLNodeSet"<br />

<br />
> sessionInfo()<br />
R version 2.13.1 (2011-07-08)<br />
Platform: x86_64-unknown-linux-gnu (64-bit)</p>
<p>locale:<br />
 [1] LC_CTYPE=zh_CN.UTF-8       LC_NUMERIC=C<br />
 [3] LC_TIME=zh_CN.UTF-8        LC_COLLATE=zh_CN.UTF-8<br />
 [5] LC_MONETARY=C              LC_MESSAGES=zh_CN.UTF-8<br />
 [7] LC_PAPER=zh_CN.UTF-8       LC_NAME=C<br />
 [9] LC_ADDRESS=C               LC_TELEPHONE=C<br />
[11] LC_MEASUREMENT=zh_CN.UTF-8 LC_IDENTIFICATION=C<br />

微微

谢谢二位！

<br />
> sessionInfo()<br />
R version 2.13.1 Patched (2011-07-22 r56481)<br />
Platform: i386-pc-mingw32/i386 (32-bit)</p>
<p>locale:<br />
[1] LC_COLLATE=Chinese (Simplified)_People's Republic of China.936<br />
[2] LC_CTYPE=Chinese (Simplified)_People's Republic of China.936<br />
[3] LC_MONETARY=Chinese (Simplified)_People's Republic of China.936<br />
[4] LC_NUMERIC=C<br />
[5] LC_TIME=Chinese (Simplified)_People's Republic of China.936    </p>
<p>

看样子是因为我的32位操作系统了。

nan.xiao

虚拟了一个windows 重现了问题应该是和locale有关

读出具体值以后套一个iconv()

比如

<br />
tmp = getNodeSet(doc, path = "//tbody/tr[1]/td")<br />
iconv(xmlValue(tmp[[1]]), from = 'UTF-8', to = '')<br />

G_will

和系统32位62位应该没什么关系，就是系统字符编码有问题，这是系统的问题，貌似win下R没法设置这个默认字符编码。

6楼的方法不错，用iconv中转一下。[s:11]

微微

太感谢了！本来放弃了用XML包改成直接readLines了。

能否再帮我看看，改了个参数，读取第三行第一格的，不用iconv还能出来结果的，用了iconv就NA了。

<br />
> tmp = getNodeSet(doc, path = "//tbody/tr[1]/td")<br />
> iconv(xmlValue(tmp[[1]]), from = 'UTF-8', to = '')<br />
[1] "\r\n产品名称"</p>
<p>> tmp = getNodeSet(doc, path = "//tbody/tr[3]/td")<br />
> xmlValue(tmp[[1]])<br />
[1] "\r\n聽聽聽聽聽 鏃犵儫鐓\xa4"<br />
> iconv(xmlValue(tmp[[1]]), from = 'UTF-8', to = '')<br />
[1] NA<br />

nan.xiao

<br />
tmp = getNodeSet(doc, path = "//tbody/tr[3]/td")<br />
iconv(xmlValue(tmp[[1]]), from = 'UTF-8', to = 'UTF-8')<br />
# [1] "\r\n      无烟煤"<br />

微微

回复第9楼的 nan.xiao：

多谢！不过还是没明白为什么可以这样。谢谢啦！

nan.xiao

回复第10楼的微微：我也觉得很诡异。。。

皮皮米菲兔

我读excel也老是这样的，需要iconv(names(sheets),from='UTF-8',to='UTF-8')一下，不知道具体原因。编码问题太复杂了。

G_will

编码问题确实特别头疼，尤其是牵扯到Win或者需要中文的应用。

frank230

mark 下！

cqzhou

Mark!

ypchen

回复第12楼的波波头一头：所以还是用linux吧

回复第10楼的微微：推荐你使用ubuntu

raphael210

mark！

raphael210

mark一下，以后参考