csv的数据全是字符串，as.numeric又报错。。。

Sylvanas

原始数据是几十个xlsx文件，数值型变量全是字符串。用VBA批量转成csv格式再用fread读取后想用as.numeric转成数值型，但是报了一串错误：
'错误: <bf><aa><c5><cc>'多字节字符串有错误'

测试如下：

a<-fread("data.csv")
a<-a[,-1]
names(a)[1:17]<-c("contract_c","date","open_c","high_c","low_c","close_c","presettle_c","settle_c","change1_c","change2_c","delta_c","IV_c","volume_c","position_c","change_position_c","turnover_c","strike_volume_c")
a$open_c<-as.numeric(a$open_c)
错误: '<bf><aa><c5><cc>'多字节字符串有错误

猜测可能是字符编码的问题？但是原始数据文件要几百MB到数GB，萌新不知道怎么办了。。。
谢谢！

y_duck

Sylvanas
编码问题（data.csv这个文件是用gbk编码的，所以要指定对应的编码方式读取），正确读取数据的方法为，读取前修改系统默认编码为GBK：

# 读取前设置系统编码为中文 GBK
Sys.setlocale("LC_ALL", "Chinese (Simplified)_China.936")
# 读取后建议恢复系统默认编码
# Sys.setlocale("LC_ALL", "")

fenguoerbian

data.table::fread()本身的encoding参数并不支持GBK，但是它支持从readLines()读入文件，而这是支持GBK编码的

f <- file("data.csv", encoding = "gbk")
a <- data.table::fread(text = readLines(f))

当然也可以用R自己的read.csv，也是支持GBK的

b <- read.csv("data.csv", fileEncoding = "GBK")

当然，这只是解决了直接在R里显示你的这份数据中的中文的问题。这件事情哪怕不解决，像你例子的代码里一样自己给列名赋值上自己能理解的内容即可。真正让你读入数据的列全是字符串类型，以及让你后面as.numeric出错的点，都在于你还没有好好看过你的原始数据——你的这份data.csv，其实是多份数据在行的方向上拼接在一起的。你可以自己验证

 a[c(96659, 189780), ]
#    商品名称 合约名称 交易日期 开盘价 最高价 最低价 收盘价 前结算价 结算价   涨跌  涨跌1
#      <char>   <char>   <char> <char> <char> <char> <char>   <char> <char> <char> <char>
# 1: 商品名称 合约名称 交易日期 开盘价 最高价 最低价 收盘价 前结算价 结算价   涨跌  涨跌1
# 2: 商品名称 合约名称 交易日期 开盘价 最高价 最低价 收盘价 前结算价 结算价   涨跌  涨跌1

数据中的这两行又都是行名称了。所以as.numeric总是会出问题的。只不过原来是报错，现在处理了编码之后是报NaN。

Sylvanas

原来是这样啊。。。多谢~