平时常常用R抓网上的数据或内容,特意写了一个简单的函数web.show(),用来粗暴的对网页内容进行简化到"正文",当然还有一些列参数用来控制输出.

写完这个函数,竟然意外的发现很容易写出其他调用web.show()的函数,省去了重复写的麻烦.我用这个函数改写了之前发过的[查单词的帖子]http://cos.name/cn/topic/109701,使得更加简单,本贴将陆续列出一些调用该函数的其他例子.

函数中ask参数表示进行交互,涉及到一个发邮件的函数,可以略过.

该函数写得过于简单粗暴,还有很多细节没考虑到,恳求大家补充指正.

这是web.show()函数:

<br />
# 输入网址字符串.经过标准化处理给出网页信息<br />
# 可以选择是否cat,表示是否输出带\n的单个字符串<br />
# trim为二元字符向量,在web.show执行一次知道要删掉"最后表现出来的"开头几行和最后几行特定分界模式,<br />
# 第一个字符标出一行(用grepl该行及之前行都删掉),第二个字符串表示后面被删,允许正则<br />
# sepplace指定一个字符正则表达式,表示符合该正则的句子后要加一空行分隔(否则令参数sepafter=-1)<br />
# 参数sepafter指定的是seplace符合的位置之后的\n为0的基础上的相对位置<br />
# 参数delete指定正则表达式表示要删除的行   各个参数相互有关<br />
# 参数remove指定每一行中要被删除的符合正则表达式的部分,用replace代替<br />
# 参数ask表示是否出现询问交互句，来询问是否在浏览器打开这个网页<br />
# 发邮件功能选择‘m'表示只是发到一个人，选择m2表示发到两个人<br />
# 参数return表示是否返回该字符串<br />
web.show=function(x,encode='UTF-8',cat=T,returnback=F,trim=c(NA,NA),<br />
                  sepplace=NA,sepafter=0,delete=NA,remove=NA,replace='',ask=F){<br />
  # source('my/mail.R')<br />
  if(!grepl('^http',x))paste('http://',x,sep='')->x<br />
  readLines(x,encoding=encode,warn=F)->a<br />
  gsub('<[^<>]*>','',a)->a<br />
  gsub('&[#0-9a-zA-Z ]+;','',a)->a<br />
  gsub(' +',' ',a)->a<br />
  a[a!=' *']->a<br />
  before=0<br />
  after=length(a)+1<br />
  if(!is.na(trim[1]))before=tail(grep(trim[1],a),1)<br />
  if(!is.na(trim[2]))after=head(grep(trim[2],a),1)<br />
  if(length(before)==0|length(after)==0)stop('trim wrong.')<br />
  a[(before+1):(after-1)]->a<br />
  if(!is.na(delete)){<br />
    a[-grep(delete,a)]->a<br />
  }<br />
  if(!is.na(remove)){<br />
    gsub(remove,replace,a)->a<br />
  }<br />
  paste(a,collapse='\n')->a<br />
  gsub('<[^<>]*>','',a)->a<br />
  gsub('\\{[^\\{\\}]*\\}','',a)->a<br />
  gsub('(\n *)+','\n',a)->a<br />
  gsub('(\t *)*','',a)->a<br />
  gsub('(\n)+','\n',a)->a<br />
  gsub('^(\n)+','',a)->a<br />
  if(!is.na(sepplace)){<br />
    if(sepafter>=0) {<br />
      relplace=paste(rep('[^\n]*\n',sepafter+1),collapse='')<br />
      gsub(paste('(',sepplace,relplace,')',sep=''),'\\1\n',a)->a}else{<br />
        relplace=paste(rep('\n[^\n]*',abs(sepafter)),collapse='')<br />
        gsub(paste('(',relplace,sepplace,')',sep=''),'\n\\1',a)->a}<br />
  }<br />
  receiver=c('***********@163.com','***********@126.com')<br />
  if(cat)cat(a)<br />
  if(ask){<br />
    invisible(readline('view in chrome?(y/n):(sendEmail press<m/m2>)\n'))->viewbrowser<br />
    if(viewbrowser=='y')browseURL(x)<br />
    #if(viewbrowser=='m'){<br />
    #  mail(substring(a,1,20),a,receiver[1])<br />
    #}<br />
    #if(viewbrowser=='m2'){<br />
    #  mail(substring(a,1,20),paste(x,a,sep='\n'),receiver)<br />
    #  invisible(readline())<br />
    #}<br />
  }<br />
  if(returnback)return(a)<br />
}<br />

</p>