在你的记号里,\(B\)
是真实系数向量,\(b\)
是对\(B\)
的估计,从形式\(b = B+(X'X)^{-1}X'e\)
上你可以发现这是一个无偏估计,而后面\((X'X)^{-1}X'e\)
就是估计误差。再考虑线性组\(Cb\)
,代入计算即可得到\(Cb=CB+C(X'X)^{-1}X'e\)
,同样的,这里的随机性来自于\(C(X'X)^{-1}X'e\)
,算方差只需要关注这里就行。
\(C(X'X)^{-1}X'e\)
其实就是一个\(ax\)
的形式,其中\(a\)
是某个固定的系数向量(注意到这里是行向量),\(x\)
是随机向量(并且由于实际上这里是误差项,一般模型都会认为个体间独立,也就是误差向量内各元素独立),\(ax\)
的结果是一个数值型随机变量,于是有如下结论
$$Var(ax) = a \cdot var(x)\cdot a^T$$
想推导其实很简单,照着方差的定义展开即可。
$$ Var(ax) = Var(\sum_i a_i x_i) = \sum_i Var(a_ix_i) = \sum_i a_i^2var(x_i) = a\cdot Var(x)\cdot a^T$$
这个推导用到了\(x\)
中元素的独立性。但实际上即使\(x\)
中元素不独立\(Var(ax) = a \cdot var(x)\cdot a^T\)
也是正确的,只是此时\(var(x)\)
是协方差矩阵,其中第i行第j列的元素就是\(x_i\)
与\(x_j\)
之间的协方差。至于证明依然是按照定义展开,只不过求和符号里的东西多一些。