关于样本量大于样本是自变量维数时线性判别分析的问题

sailordump

当样本量大于样本是自变量维数时，做LDA(linear discriminant analysis)，为什么可以取协方差阵的估计为<bblatex>D=diag(\hat{\Sigma})</bblatex>,<bblatex>\hat{\Sigma}</bblatex>是由样本得出来的变量协方差估计。

也就是说为什么DLDA这种判别分析方法能够work？

pengergedd

因为协方差阵的估计是无偏的最大似然估计，当观测足够大的时候，误差就会相对来说比较小。

sailordump

回复第2楼的 pengergedd：换个说法吧，我的意思是，为什么当变量维数大于样本量的时候，可以无视变量间的相关性，而认为各个变量是独立的。

做LDA时，一般使用的样本协方差是<bblatex>\hat{\Sigma}=\sum_{k=1}^K\sum_{g_i=k}(x_i-\hat{\mu_k})(x_i-\hat{\mu_k})^\mathrm{T}/(N-K)</bblatex>,而这里使用的样本协方差估计是<bblatex>diag(\hat{\Sigma})</bblatex>(忽略了各个变量之间的相关性)

wbaopaul

回复第3楼的 sailordump：楼主公式理解有误吧，个人感觉这里的<bblatex>x_i</bblatex>是对应于样本<bblatex>i</bblatex>的自变量（列）向量。而不是第i个自变量！所以并没有忽略变量之间的相关性。