寻找两个矩阵中相等的行

ypchen

矩阵的行数很大如果再找好几个这样的矩阵中相等的行呢？有什么方便的方法实现？如果循环的话太慢了

例如我有三个矩阵，mat1,mat2 ,mat3 要找找出同时都在三个矩阵中出现的行，如何找？

yanlinlin82

我觉得，双重循环比较应该是免不了的，只能设法在数据选取和比较上提高速度了。比如，已经比较过相等的，就不要再分别把它们分别与其他行进行比较了，而只需要用其中一行（相当于聚类）。另外，可以尝试用C语言实现来提高运行效率。

pengchy

是否可以考虑把所有的矩阵merg到一个矩阵里，然后排个序，直接比较临近的几行就行了。

dengyishuo

循环是肯定要的，不过可不可以将两个矩阵的行放在一起排序。这样，相同的行肯定是靠近的~~

yanlinlin82

排序本身其实也会进行双重循环的比较，不见得能加快速度。

潘岚锋

我曾经试过写循环来去掉一个很大数据框里的重复行，慢得抓狂……

后来发现个包 sqldf 能直接在 R 里的data.frame 上运行 sql 语句，速度很快。

pengchy

如果是去掉重复，可以用duplicated函数啊。

ypchen

可惜SQL语句不熟能帮我写个吗？

yanlinlin82

SQL 的话，其实就相当于利用 DBMS 来执行检索等过程了。sqldf 好像用的是 sqlite，这倒是省掉了自己写 C 程序的工夫。

刚试了一下，现学现卖，举个简单例子供参考：

<br />
> x <- data.frame(a=c(1:3,3:1),b=LETTERS[c(1:3,3:1)],c=letters[c(3:1,1:3)])<br />
> x<br />
  a b c<br />
1 1 A c<br />
2 2 B b<br />
3 3 C a<br />
4 3 C a<br />
5 2 B b<br />
6 1 A c<br />
> sqldf("select * from x")<br />
  a b c<br />
1 1 A c<br />
2 2 B b<br />
3 3 C a<br />
4 3 C a<br />
5 2 B b<br />
6 1 A c<br />
> sqldf("select distinct * from x") # 关键是这里，使用 distinct 就能去掉重复了<br />
  a b c<br />
1 1 A c<br />
2 2 B b<br />
3 3 C a<br />

潘岚锋

不仅仅是要去掉重复，最后还要把计算结果还原到原来每行，sql 可能更方便些。

ypchen

大家帮我看看下面的程序哪儿出了问题

<br />
<br />
mat1 <- matrix(1:16,4,4)<br />
mat2 <- matrix(1:12,3,4)<br />
mat3 <- matrix(1:20,5,4)<br />
mat2[2,]=mat1[3,]<br />
mat3[4,]=mat1[3,]<br />
lst <- list(mat1,mat2,mat3)<br />
<br />
fset=NA<br />
for(i in 1:nrow(lst[[1]])){<br />
    flag=0<br />
    v <-lst[[1]][i,] <br />
    nl <- 2<br />
    while(nl<=length(lst)){<br />
        for(j in 1:nrow(lst[[nl]])){<br />
            if(all(v==lst[[nl]][j,])) flag = i<br />
            else {<br />
                flag=0<br />
                break<br />
            }                <br />
            <br />
        }<br />
        if(flag!=0) {nl <- nl+1}<br />
            else break<br />
    }<br />
    if(flag!=0) fset <- rbind(fset,flag) <br />
}<br />
fset<br />

潘岚锋

我学到那点sql 语句差不多都还给谭昱老师了……

比如有两个 data.frame webc 和weba ，找出webc中与weba中相同的行:

<br />
webd=sqldf('select webc.* from webc,weba<br />
where weba.a1=webc.a1 and weba.a2=webc.a2 <br />
and weba.a3=webc.a3 ')<br />

yanlinlin82

@ypchen:

似乎是你循环里的逻辑写得有问题。

@蓝枫:

延续你的写法（sqldf 确实好用）：

<br />
d1 <- as.data.frame(mat1)<br />
d2 <- as.data.frame(mat2)<br />
d3 <- as.data.frame(mat3)<br />
sqldf("select * from d1 intersect select * from d2 intersect select * from d3")<br />

ypchen

终于知道哪儿错了把代码贴出来给大家看看有没有可以改进的

<br />
<br />
mat1 <- matrix(1:16,4,4)<br />
mat2 <- matrix(1:12,3,4)<br />
mat3 <- matrix(1:20,5,4)<br />
mat2[2,]=mat1[3,]<br />
mat3[4,]=mat1[3,]<br />
mat2[3,]=mat1[1,]<br />
mat3[5,]=mat1[1,]<br />
<br />
lst <- list(mat1,mat2,mat3)<br />
<br />
fset=NA<br />
for(i in 1:nrow(lst[[1]])){<br />
    flag=0<br />
    v <-lst[[1]][i,] <br />
    nl <- 2<br />
    while(nl<=length(lst)){<br />
        for(j in 1:nrow(lst[[nl]])){<br />
            if(all(v==lst[[nl]][j,])) <br />
            {<br />
                flag = i<br />
                break    <br />
                #找到以后就到下一个矩阵里找<br />
            }<br />
            else {<br />
                flag = 0 <br />
                # 原来那个程序这句的后面还有个break 不应该加的<br />
                <br />
            }                <br />
            <br />
        }<br />
        <br />
        if(flag!=0) {nl <- nl+1}<br />
            else break<br />
    }<br />
    if(flag!=0) fset <- rbind(fset,flag) <br />
}<br />
fset<br />
<br />

ypchen

SQL的确好用我都没见过intersect 看来要好好学SQL了

yanlinlin82

我原来也只会 UNION 把两个SQL查询结果合并，INTERSECT 还是刚学会的（http://en.wikipedia.org/wiki/Set_operations_%28SQL%29）。

ypchen

谢谢各位了！

我先用我的土办法跑一遍数据量有点大总共6个矩阵，每个矩阵都有至少一万行

等了半个多小时才判断到第一个矩阵的第154行

用sqldf函数的话只用了不到两秒

搞统计的人总是要折腾数据最好还是学学SQL语言

bjt

非常同意。

SQL 有时候可以解决很多烦人问题。

潘岚锋

[quote]引用第12楼yanlinlin82于2009-08-06 22:58发表的回 10楼(ypchen) 的帖子 :

@ypchen:

似乎是你循环里的逻辑写得有问题。

@蓝枫:

延续你的写法（sqldf 确实好用）：

.......

[/quote]

我不明白这个包的原理，它是怎么运行 sql 语句的，是转成其它语言还是直接就能在 R 里运行sql ？同样在 R 里为什么速度差异这么大……

p.s. twitter user？

yanlinlin82

我没研究过其实现，不过在 library("sqldf") 的过程中，见到其提示自动加载了 RSQLite 包，因而猜测其底层很可能是依靠 SQLite 库完成的。

SQLite 是用C语言写成的一个轻量级DBMS，可以被嵌入到其他程序中使用，它能将数据内容存储到单个文件中，并建立索引，提供SQL操作接口，因而运用很广泛。（更详细的可参考其网站：http://www.sqlite.org/）

而sql的运行过程，其实也就是把sql语言首先进行解析，得出条件、表名、字段等的组合关系，然后根据这些信息到相应的数据表中进行索引并提取内容。这些工作，在这个包中，应该就是依靠SQLite的C语言实现的二进制代码完成的。

至于运行效率的差异，一方面 R 语言本身只是解释型语言，相比编译好的二进制代码，当然会慢得多；另一方面，我估计，SQLite在把 data.frame 在内存中转化为其数据库表时，很可能为提高查询效率，给各个字段建立了索引。从而，相比R语言逐条数据去读取和比较，自然会快很多。