kingdice [未知用户] 如果变量之间的想关心较高的话,Lars倾向于只选择这些相关变量中的一条变量,但是有些经济模型明知道,几个变量是相关的还是要加到模型中时,可以用Zou的elastic net来解决这个问题
kingdice LZ,非常有幸这个版块看到你对LARS这一系列的理解,我有个疑问,在做lasso,在什么条件下的解是唯一的呢??因为我最近注意到当X1=X2时,lasso会产生不是唯一的解,请帮我解释一下可以吗?或者提供一下唯一解的条件的论文,可以吗??谢谢
runxiao 楼主的文章写的非常好,LARS的基本思想将的很清楚。Efron这篇文章我也拜读过几遍,但其间关于如何求solution path的方向以及步长,似乎并不透彻。楼主如果能结合几何特征讲解下这两个关键点就更好了:)
eeyangc “Efron提出了Forward stagewise”,这个是概念性错误。Forward Stagewise Regression 应该归功于Friedman,源于Gradient Boosting。LARS的几何意义可以结合凸优化来理解。
junhun-2008@163.com 还想问几个问题, 1、这些变量找出来以后再做一次最小二乘么?还只可以直接通过每一步得到的步长r算出来对应各个变量的系数改变量?已知在角分线ua上边的长度是r了,怎么确定其他边的步长呢? 2、是不是应该每一步求得的步长r是越来越小的呢?我的结果乱七八糟的 谢谢~
godspeed-247236636 关于提到的“然而这里或许会有一些其他的解,也能满足LARS的要求,有没有达人能想到或许证明这个解是唯一的”,我是这样想的,因为这个solution path要在当前活跃集合所生成的空间中,所以这个解是唯一的,另一方面,因为投影向量和这个解的乘积还是这个解,所以也证明了这个解在当前活跃集合所生成的列空间中,所以证明了这个解是正确的。具体可以看我写的http://blog.csdn.net/u014664226/article/details/52240272