求教“LASSO得到的回归系数不会随自变量间相关系数而改变” 肿么理解？

raygod2

这是来自Regression Shrinkage and Selection via the Lasso中的意思在论文的第7页

文中用一组模拟的数据对不同相关系数下岭回归和LASSO的回归系数比较说岭回归的发生变化但LASSO的不变...

LASSO不变的这个从哪个角度理解呢？先谢谢各位了~

wbaopaul

回复第1楼的 raygod2：你是说Fig4吗？对于不同的correlation <bblatex>\rho</bblatex>, ridge regression 给出不同的曲线，而lasso只有一条曲线。这里的不变是指，系数不会受<bblatex>\rho</bblatex>影响。而随着t的不同，beta1和beta2当然会变化~~

raygod2

回复第2楼的 Wenbao_Yu：就是那个图啊~我就是想问为毛LASSO得到的系数不随相关系数改变啊~

wbaopaul

回复第3楼的 raygod2：因为<bblatex>\beta_1^0-\beta_2^0</bblatex>是不受<bblatex>\rho</bblatex>影响的：<bblatex>\beta_1^0-\beta_2^0=(1,-1)[1 ,\rho;\rho, 1]^{-1}[x_1,x_2]'y</bblatex> (只要y是x的线性函数，这个式子经计算不依赖于<bblatex>\rho</bblatex>。在这个具体例子中<bblatex>\beta_1^0-\beta_2^0=3</bblatex>.)

不知道这个解释合适不。

raygod2

回复第4楼的 Wenbao_Yu：先感谢一下这位兄弟不过你给的公式俺看不了啊。。。

wbaopaul

回复第5楼的 raygod2：回复第5楼的 raygod2：已经重新编辑了。

raygod2

能够稍微加以解释其中的符号标记呢？

还有这个公式意义何在？

我真是没看出来意思啊。。。

谢谢

wbaopaul

回复第7楼的 raygod2：就是从least square estimate的具体表达式开始。因为只有2个变量，比较容易检验

raygod2

我不得不坦诚而惭愧的表示 LS这位大哥的微言大义我确实没法理解。。。

我还恳请给位帮忙解释下从一般情况入手不只是针对自变量个数p=2的时候 LASSO的这个性质是跟自身的罚函数有关还是算法决定的？

要是觉得详细的回答麻烦推荐个有对这个问题的解释的书或者文章都行~

再次谢过。。。

micro@

回复第7楼的 raygod2：弱问一下，中文的“符号标记”是什么意思？

raygod2

回复第10楼的 micro@：是我问4楼的大哥他给的公式解释中的记号具体是什么

raygod2

我很想知道这个问题的解释再次先谢谢各位

wbaopaul

回复第12楼的 raygod2：p>2时，lasso不一定有这个性质。即使p=2，当y与x是非线性关系时，这个性质也未必成立。（Fig4情况很特殊，y和x是按照严格线性关系产生的。有兴趣可以simulation一下，看一看y与x是非线性关系时，lasso的解会不会受<bblatex>\rho</bblatex>影响。）另外，lasso的优势通常也不在这里，不必过于执着于这条‘性质’。个人拙见，仅供参考。

raygod2

回复第13楼的 Wenbao_Yu：恩恩谢谢~我以为这是LASSO的一个普遍性质所以就很想知道为啥

mylili

p = 200 and ¾ = 1:5. The ¯rst 15 covariates (x1; : : : ; x15) and the remaining 185 covarites (x16; : : : ; x200) are independent. The pairwise correlation between the ith and the jth components of (x1; : : : ; x15) is rji¡jj with r = 0:5; i; j = 1; : : : ; 15. The pairwise correlation between the ith and the jth components of (x16; : : : ; x200) is rji¡jj with r = 0:5; i; j = 16; : : : ; 200.Components 1{5 of ¯ are 2.5, components 6{10 are 1.5, components 11{15 are 0.5, and the rest are zero. The covariate matrix has the partial orthogonal structure.

求教一下，这组数据要怎么模拟呢？