新的中文分词包Rwordseg

lijian

Rwordseg_0.0-1发布了，详情请见 <http://jliblog.com/app/rwordseg> 。该包引用了孙健开发的ansj中文分词工具，基于中科院的ictclas中文分词算法，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提取等领域，支持行业词典、用户自定义词典。无论是分词准确度、自定义词典的方便程度还是运行的效率都大大地超过了rmmseg4j。作为专业的数据分析和文本挖掘的R用户，再也不用因为还在使用mmseg4j而被人笑话了。

具体的例子以及和其他分词包的对比在主页提供下载的中文vignette中有详细的介绍。

nan.xiao

力挺！[s:17]

常见的性能度量是长文档的整体分词速度 xxx K/s，如果加上这项指标会更漂亮！

lijian

原作者的MacBookAir上面，分词速度大约在300w/字/秒。我在R里面没测过。

daigazi

mark

neo.cryptic

是不是先要安装Java才能用这个分词包啊？。。

lijian

回复第5楼的 neo.cryptic：对的，需要JRE环境和rJava包

sociology

回复第1楼的 lijian：

1，词性识别是一个很明显的优势；另一个优势是中英文混合词能够正确分词；速度也可能是一个优势。

2，因为mmseg4j而被人笑话，mmseg4j是之前好几代的技术，很少人用，造成很大困扰，等等。有具体的例证和根据吗？

3，vignette中对分词器效果的比较没有太大参考价值。对单一句子分词的准确性不能说明任何问题。要比较，需要一个好的语料库。

4，小建议，if (!is.character(strwords)) 改为 if (!inherits(strwords, "character"))更好。这样与tm程序包的兼容性更高。

lijian

回复第7楼的 sociology：

1. 这个词性识别是假的，不知原作者会不会改进，或者我以后有空用R写一个。

2. mmseg4j的JAVA源代码我基本都看过了，作者写完几个算法就完，维护不勤，Issue也不怎么回，我作为用户时感激一切开源的东西，但是作为开发者时不是很认同这种开源的态度，所以有些出言不逊，如果不小心得罪了作者，还请见谅。

3. 语料库这东西在分词中也是拆东墙补西墙，我平时常受其害，也不是针对具体的分词器。

4. tm包我平时不用，不知道这里的兼容性是什么意思。处理文本都是自己写正则，具体的模型、算法和可视化也不指望这个包里有，之前也有在写一个中文的TM包，只是现在在写几个基因和制药的包，文本的暂时搁置了。

lijian

回复第7楼的 sociology：原来是rmmseg4j的作者，失敬失敬，黄兄有好多开源的好东西而且经常来论坛指点大家，比mmseg4j的作者好多了[s:11]

jiangnping

自定义词典总是出这样的错误，比如在dict下面增加一个自定义的文档，只有一行，同容为：切糕。提示错误：

Error : .onAttach failed in attachNamespace() for 'Rwordseg', details:

call: tolower(strwords)

error: 'utf8towcs'里的输入'切糕'不对

错误: ‘Rwordseg’程辑包/名字空间载入失败

jiangnping

原来是编码问题，改为utf8即可。但是在tm包中仍然无效。

lijian

回复第11楼的 jiangnping：可否麻烦老兄把旧的那个文档和新的文档都发我一下？ rweibo at sina.com

我现在在测试各种中文编码，打算在0.0-5版解决所有中文编码的问题。

sociology

回复第12楼的 lijian：

编码问题是很讨厌的。

我现在基本上倾向于统一使用UTF-8编码，似乎跨平台相对较好。

其他编码的文本，在读入R的时候可以通过编码转换来处理。

期待正式版发布哦。

lijian

回复第13楼的 sociology：是啊，编码太烦人了，现在在R中手工处理成UTF-8还好，要想做个能自动处理所有乱码的也不容易，我现在打算用JAVA来做。

lijian

更新到了Rwordseg_0.0-4，增加了对Sogou的scel细胞词库的支持；修复了自定义词典中文编码的Bug；优化了词典管理的功能；更新了vignette文档，增加了例子。

xuening

您好！想问一个安装的问题。我按照步骤下载了java并安装。并且我的java安装路径下面已经有了jre7这个文件夹……我也设置了环境变量，就是在系统设置->高级->环境变量->Path下面添加了

C:\Program Files\Java\jre7\bin

C:\Program Files\Java\jre7\bin\client

C:\Program Files\R\R-2.15.2

这三个路径（我的bin下面没有server文件夹而client下面已经有jvm.dll，所以我没有添加server……）

但是运行这两个命令之后（我已经安装了rJava）

install.packages("Rwordseg", repos="http://R-Forge.R-project.org")（这条命令运行无误）

require(Rwordseg)，

R提示错误信息：

# Version: 0.0-4

Error occurred during initialization of VM

Could not reserve enough space for object heap

Error : .onAttach failed in attachNamespace() for 'Rwordseg', details:

call: .jinit()

error: Cannot create Java virtual machine (-4)

错误: ‘Rwordseg’程辑包/名字空间载入失败，

我卸载了java再安装还是一样的效果……百思不得其解，恳请给些提示，谢谢！

lijian

回复第16楼的 PuddingNnn：应该是JRE7的问题，我是在JRE6下测的，我这两天测一下，如果真是这个原因的话我放个合适版本的JRE在网上。

xuening

回复第17楼的 lijian：谢谢回答！我的java文件夹下jre6和jre7都有……我卸载了jre7然后用这个网址验证：http://www.java.com/zh_CN/download/installed.jsp，提示信息如下：

正在验证 Java 版本

提供了 Java 的新版本

请单击下载按钮，为您的计算机获得推荐的 Java 版本。

您的 Java 版本： Version 6 Update 31

但是我用R调用Rwordseg包之后仍然提示下列信息……：

> library("rJava", lib.loc="C:/Program Files/R/R-2.15.2/library")

> library("Rwordseg", lib.loc="C:/Program Files/R/R-2.15.2/library")

# Version: 0.0-4

Error occurred during initialization of VM

Could not reserve enough space for object heap

Error : .onAttach failed in attachNamespace() for 'Rwordseg', details:

call: .jinit()

error: Cannot create Java virtual machine (-4)

错误: ‘Rwordseg’程辑包/名字空间载入失败，

我添加的环境变量如下：

C:\Program Files\Java\jre6\bin;C:\Program Files\Java\jre6\bin\client;C:\Program Files\R\R-2.15.2\library\rJava\jri;

不明白究竟哪里出了问题……谢谢！

nan.xiao

7 我这用得好好的

看看是不是改过 -Xms -Xmx 这两个启动参数或者剩余物理内存太小了

ada

请问userLibrary.dic中每行末尾的数字代表什么意思？