为什么rank(X) = rank(X'X)

easttiger

设

<bblatex>X \in {{\bf{R}}^{m \times n}},m \ge n</bblatex>

且

<bblatex>{\mathop{\rm rank}\nolimits} \left( X \right) = n</bblatex>

则成立

<bblatex>{\mathop{\rm rank}\nolimits} \left( {{X^{\bf{T}}}X} \right) = {\mathop{\rm rank}\nolimits} \left( X \right) = n</bblatex>

这个命题在线性回归当中我见了多次,但一直没想通,故求教证明.

yihui

<bblatex>X</bblatex>和<bblatex>X'X</bblatex>的Null space（正交补空间？）是相同的，而对任意一个矩阵，（Null space的维度+秩）=列数，即<bblatex>dim(A)+rank(A)=n</bblatex>，这是rank-nullity theorem。所以要证明rank相等，只需要证明Null space的维度相等（两个相同的Null space显然维度相等）。

Null space的定义是这些向量构成的空间：<bblatex>{x:Ax=0}</bblatex>。而对<bblatex>A</bblatex>和<bblatex>A'A</bblatex>来说，<bblatex>Ax=0</bblatex>和<bblatex>A'Ax=0</bblatex>等价。故<bblatex>A</bblatex>和<bblatex>A'A</bblatex>的秩相等（不一定需要列满秩）。

foison

呼唤阳庆节的讲义。。。

把 X 写成列向量的形式，考虑 X‘X 的形式，应用一下秩的定义。

yihui

我觉得从秩的定义直接证明会让人抓狂的……

easttiger

我也想到只要证明X和X'X有相同的null space即可. 显然<bblatex>Xv = 0 \Rightarrow X^TXv=0</bblatex>, 但怎么证反方向呢?

easttiger

啊, 我想明白了. 这是因为 <bblatex>X</bblatex> 的列空间和 <bblatex>X^T</bblatex> 的null space互为orthogonal complement, 所以当 <bblatex>Xv</bblatex> 在 <bblatex>X^T</bblatex> 的null space时, <bblatex>Xv</bblatex> 只可能是0!

yihui

回复第5楼的 easttiger：<bblatex>X^TXv=0 \Rightarrow v^TX^TXv = 0</bblatex>，当你知道<bblatex>a^Ta=0</bblatex>的时候，也就知道了<bblatex>a=0</bblatex>。

lolo

若AX=0与BX=0具有相同的解（A，B有相同的列数），那么R(A)=R(B）。因为它们解相同，R(A)+解的秩＝R(B)+解的秩。

又A与A'A有相同的解，所以它俩秩相同。

如果Ax=0，则A'Ax=0，这个很明显。

如果A'Ax=0，则x'A’Ax=0，即（Ax)'(Ax)=0。此式若想等与0，只有Ax=0（即Ax个个列向量的坐标都得为0）