文本聚类最优聚类个数如何确定

piaoguo

我最近在对1389篇文档进行文本聚类，打算使用层次聚类和KMeans聚类，层次聚类的代码如下：

# 计算矩阵之间的cosine距离

abstract_dis<-dissimilarity(abstract_dtm_ns, method = "cosine")

# “离差平方和法”计算聚类集合之间的距离

abstract_fit<- hclust(abstract_dis, method="ward")

# 层次聚类图

plot(abstract_fit,hang=-1)

</p>

如何根据层次聚类的结果确定最优聚类个数？有没有方法或者代码？

我的1389篇文档聚为多少类比较合适？万分感谢~

zjfscu

可以尝试参考一下fpc包中的cluster.stats函数。这个函数提供了各种刻画聚类效果的度量。

lyxmoo

有篇 clustering by fast search and find of density peaks , 其中的方法分出来组的个数就不用纠结到底应该选几个k了。

而kmeans 本身，确实在选定k大小时会碰到疑问，到底应该选几，需要迭代过程，先选个足够大的k, 然后判定分组准确度，然后调小k(E)，然后再判定分组准确度，然后就这样迭代下去，直到确定分组准确度达到最高(M)；这样方法运行速度肯定慢于 density peaks 方法，而且又带出什么是分组准确度的问题；

剩下的问题是，density peaks 的论文有，但没有R package.

piaoguo

回复第3楼的 lyxmoo：非常感谢版主，论文我还没有仔细看，但发现了一个densityClust包（http://cran.r-project.org/web/packages/densityClust/densityClust.pdf），不知是不是你指density peaks的R包？

piaoguo

回复第2楼的 zjfscu：非常感谢！我在fpc包里面找到了cluster.stats()$ch和calinhara()分别计算层次聚类和K均值聚类的Calinski和Harabasz指数，但是类的个数越大这个指数就越小~好囧啊[s:15]

lyxmoo

回复第4楼的小菜：

densityClust 就是的那个density peaks方法包，你可以试下； R package 好快，赞一个。普大喜奔，@统计之都小编。

看描述就是:

Description An implementation of the clustering algorithm described by Alex

Rodriguez and Alessandro Laio (Science, 2014 vol. 344), along with tools to

inspect and visualize the results.

GPL

[未知用户]
我写了个python package，可以试一下
https://github.com/GuipengLi/Dcluster

sinceqd

[未知用户]
好像没有找到densityClust这个包哪里可以下载呀~