请教一个规则的文本挖掘，做成一个关系网络

newhotter

大家好！

看到论坛上好多数据挖掘的大牛！

我最近遇到一个问题。。下面这个链接是一个共同作者的文本数据。。

https://files.oakland.edu/users/grossman/enp/Erdos1.html

其中有510位（第一行）与erdos有过直接合作的作者。。下面的那些作者（也有可能和erdos合作过）都是直接和这510位作者有过合作的作者。

现在要做一个510个节点的关系网络。比如510人之中的B和C有过共同发表论文的经历，那么B就和C连成一条线。

不知道上面有没有把我的问题阐述清楚了。

我现在遇到很棘手的问题是，R的文本挖掘包我都不太熟悉。关系网络的邻接矩阵我没有办法提取出来。

不知道论坛里面的大牛有什么解决办法！工具包什么的我应该可以很快学会！

谢谢各位了！

WANGXIANSHENG

我的理解和思路是这样的:

1)首先要对作者名字进行统一规范处理,如标点,空格,大小写,全称或缩写,等等,以免文字匹配时发生错误.

2)创建一个511个作者的列表(全部的第一行作者名构成),如果其合作者中有与这511个作者任一相同的,则输出并生成二元相互关系列表(我算的结果是3279条目).

3)采用cytoscape软件进行绘制网络关系图. 因无法上传图片,特此忽略.

祝你好运!

WANGXIANSHENG

abbott,harveyleslie hanson,denis

abbott,harveyleslie meir,amram

abbott,harveyleslie moon,johnw.

abbott,harveyleslie moser,leo

abbott,harveyleslie sauer,norbertw.

abbott,harveyleslie simmons,gustavusj.

abbott,harveyleslie subbarao,matukumallivenkata

aczel,janosd. renyi,alfreda.

aczel,janosd. straus,ernstgabor

agoh,takashi granville,andrewjames

aharoni,ron hajnal,andras

aharoni,ron hoffman,alanjerome

aharoni,ron holzman,ron

aharoni,ron komjath,peter

aharoni,ron krivelevich,michael

aharoni,ron linial,nathan

aharoni,ron loebl,martin

aharoni,ron magidor,menachem

aharoni,ron milner,ericcharles

aharoni,ron shelah,saharon

aharoni,ron thomassen,carsten

aigner,martins. grieser,daniel

aigner,martins. kleitman,danielj.

aigner,martins. prins,geertcalebernst

aigner,martins. tuza,zsolt

aigner,martins. west,douglasbrent

ajtai,miklos alon,nogam.

ajtai,miklos babai,laszlo

ajtai,miklos chvatal,vaclav(vasek)

ajtai,miklos komlos,janos

ajtai,miklos linial,nathan

ajtai,miklos rodl,vojtech

ajtai,miklos schulman,leonardj.y.

ajtai,miklos spencer,joelharold

ajtai,miklos szemeredi,endre

alavi,yousef behzad,mehdi^1

alavi,yousef boals,alfredjohn

alavi,yousef chartrand,garytheodore

alavi,yousef chung,fanrongking(graham)

alavi,yousef graham,ronaldlewis

alavi,yousef lam,peterchebor

alavi,yousef lick,donraymond

PerhapSC

回复第6楼的 WANGXIANSHENG：见识了新东西[s:13][s:13]

lee_xiong

恰好最近也做了这方面的工具，与楼主分享：

工具：Gephi or Ucinet

思路：主要在于获取作者间的两两合作关系，导入相应绘图软件即可。在合作关系的表达上，可以采取5楼的“边格式”写法（Gephi支持），也可以构建共现矩阵（Ucinet支持矩阵格式数据输入）。由于Gephi所绘制的图效果远胜于Ucinet，个人倾向于使用Gephi。

过程：

1）数据源格式

[data]

吴冰|

何如佳|

黄悦深|代晓飞|

司莉|王思敏|

钱欣|

吴冰|张辰彦|

方国庆|

肖丽妍|齐佳音|

彭兰|

杨晓红|

[/data]

2）代码

<br />
#注意仅针对无向图<br />
my.data<-scan('1.txt',what='character',sep='\n',fileEncoding='UTF-8')  #读取数据<br />
authors<-strsplit(my.data,split='|',fixed=TRUE)   #切分词项<br />
#获取边数据中节点的两两关系，如a,b,c获取的边数据为a->b,a->c,b->c<br />
#Gephi支持a,b,c形式数据，但仅解读为a->b,a->c的关系，无法取得b->c间的关系<br />
get.relationship<-function(termvector){<br />
  a<-NULL<br />
 len<-length(termvector)<br />
   if(len>1){<br />
    for (i in 1:(len-1))<br />
      for (j in (i+1):len)<br />
        a<-append(a,c(termvector[i],termvector[j]))<br />
  }<br />
  return (a)<br />
}<br />
cor.authors<-lapply(authors,function(i) get.relationship(i))<br />
#注意get.relationship（）函数会自动忽略只有一个作者的情况，因此会产生许多空行，许多对其进行清除</p>
<p>clean.relationship<-function(mylist){<br />
clean.data<-list()<br />
  j<-1<br />
  for (i in (1:length(mylist))){<br />
    if(length(mylist[[i]]>1)){<br />
      clean.data[[j]]=mylist[[i]]<br />
      j=j+1<br />
    }<br />
  }<br />
  return (clean.data)<br />
}<br />
#调用上面定义的clean.relationship（）函数进行清理<br />
cor.authors<-clean.relationship(cor.authors)  </p>
<p>#上面已经获得作者间两两关系，cor.authors已变为[[a,b,a,c,b,c],[a,q,a,d,q,d],...]形式且无空行<br />
#接下来将cor.authors向量化，即变为[a,b,a,c,b,c,a,q,a,d,q,d...]形式，再将其重排为只有2列的矩阵即获取每个作者间的两两合作关系<br />
#如此处理的原因还是在于Gephi的数据解读方式，在每行边数据中只输入两个作者能保证数据不被Gephi误读<br />
cor.authors<-unlist(cor.authors)<br />
cor.authors<-matrix(cor.authors,ncol=2,byrow=TRUE)<br />
write.csv(cor.authors,'corAuthors.csv',row.names=FALSE)<br />

3)将上述步骤得到的corAuthors.csv导入Gephi即可绘图（个人经验：Gephi的对边数据的读取严格按照Source，Target的格式，在无向图中a,b与b,a虽然代表同一种关系，但仍有一种表达方式会丢弃，因此边的权重值会降低，可用解决办法为将上述所得数据两列互换后再拼接于原数据之后，则能补全边的关系，此为个人经验，若有不当之处，求大牛斧正）</p>

另：使用Gephi的绘图效果及tm包做文本分析请见R-水浒人物关系呈现 ,构建共现矩阵的步骤为 (T-D) %*% t(T-D),在这里即是“作者-文档”乘以 t（“作者-文档”），这里t是矩阵转置

lee_xiong

Gephi绘图效果</img>

ywh19860616

回复第9楼的 lee_xiong：[s:13]非常不错，感谢分享。