jznsb Zou Hui 的elastic net 为什么要把L_2与L_1 凸组合起来?怎么就能做到"retains ‘all the big fish’"呢?原以为有机会向他请教的,可惜...,遗憾了!是不是有人能把他的思想讲一讲呢?
nan.xiao 嗯,有意义的问题。我读过的理论文章很少,不过关于为什么结果会是这样,可以看一下贾老师和郁老师的文章 On Model Selection Consistency of the Elastic Net When p≫n。这方面更直观的解读还有,记不起来了。 至于最开始想要这样做的原因和灵感来源,可能还是请教作者本人比较好 。。
jznsb 回复 第4楼 的 肖楠:非常感谢!我仔细读一读你说的文章!我同意你的看法----“至于最开始想要这样做的原因和灵感来源,可能还是请教作者本人比较好 。”本以为在一次会议上能看到,也好当面请益。可遗憾的是,Zou Hui有事走不开没能参加。
sonicworm L1倾向于在一组高度相关的特征中只选择一个,但有时候特征虽然相关,可能对于模型同时都很重要,这时候L2效果要更好,但L2得不到稀疏解,所以把这两个结合起来,弄个东东,你去看看他05年那篇文章