andrewchay 我读起来很多中文词都费劲啊,还是比较prefer将一些基本概念的词保留英文的。BTW,这篇文章激起了让我想要去读一下这个93页论文的兴趣,估计也能醍醐灌顶的对model selection和regression有个更深层的认识。好文!虽然我还是没弄明白你的那个solution path的path是怎么回事
yihui [未知用户] 参见三楼的回复。若有不熟悉的词汇,可以翻译并用括号标注相应的英文。 比如prefer写成“倾向于”又会怎样?BTW写成“另外”又如何?等等。真的不嫌中英文输入法切换麻烦吗?还是真的已经在异国他乡呆了半个世纪…… 本文若能激起读者对原文的兴趣,也是一种成功了。
Orchid [未知用户] 你好,我现在临时要用LARS分析一组数据,有个问题不明白,特来请教: Efron的论文中说变量之间要线性独立,这个条件是必须的吗。我的数据现在是 各个变量之间存在较高的Pearson相关性,如果直接套用LARS,这种相关性对回归结果有什么影响? 谢谢,期待得到回答
Orchid 你好,我是计算机专业的,数学基础不是很好,我现在临时要用LARS分析一组数据,有个问题不明白,特来请教: Efron的论文中说变量之间要线性独立,这个条件是必须的吗。我的数据现在是 各个变量之间存在较高的Pearson相关性,如果直接套用LARS,这种相关性对回归结果有什么影响? 谢谢,期待得到这里高手回答
kingdice [未知用户] 如果变量之间的想关心较高的话,Lars倾向于只选择这些相关变量中的一条变量,但是有些经济模型明知道,几个变量是相关的还是要加到模型中时,可以用Zou的elastic net来解决这个问题
kingdice LZ,非常有幸这个版块看到你对LARS这一系列的理解,我有个疑问,在做lasso,在什么条件下的解是唯一的呢??因为我最近注意到当X1=X2时,lasso会产生不是唯一的解,请帮我解释一下可以吗?或者提供一下唯一解的条件的论文,可以吗??谢谢
runxiao 楼主的文章写的非常好,LARS的基本思想将的很清楚。Efron这篇文章我也拜读过几遍,但其间关于如何求solution path的方向以及步长,似乎并不透彻。楼主如果能结合几何特征讲解下这两个关键点就更好了:)
eeyangc “Efron提出了Forward stagewise”,这个是概念性错误。Forward Stagewise Regression 应该归功于Friedman,源于Gradient Boosting。LARS的几何意义可以结合凸优化来理解。
junhun-2008@163.com 还想问几个问题, 1、这些变量找出来以后再做一次最小二乘么?还只可以直接通过每一步得到的步长r算出来对应各个变量的系数改变量?已知在角分线ua上边的长度是r了,怎么确定其他边的步长呢? 2、是不是应该每一步求得的步长r是越来越小的呢?我的结果乱七八糟的 谢谢~