共轭梯度法计算回归
一个最基础的线性回归,在小轩哥这里总是能玩出花来!
对于非正定的矩阵,添加一个lambda参数 相当于增加了松弛变量,利用约束条件来填满多重共线性,不知道这样理解有没有问题。
我来添砖加瓦一下 :)
1. 基于各种下降迭代的解析解不仅仅适用于普通最小二乘,各种广义线性模型都可用,比如logit。
2. 共轭梯度法还可以并行计算,这对本身就分布存储的非常大的数据(比如上亿行)就非常关键了。如果一定要用qr分解,分布式的情况下就只能做bootstrap类了....
1. 基于各种下降迭代的解析解不仅仅适用于普通最小二乘,各种广义线性模型都可用,比如logit。
2. 共轭梯度法还可以并行计算,这对本身就分布存储的非常大的数据(比如上亿行)就非常关键了。如果一定要用qr分解,分布式的情况下就只能做bootstrap类了....
[未知用户] 半正定的矩阵(X'X至少保证是半正定的)加上正定的矩阵(对角线为lambda的对角矩阵就是一个正定矩阵)一定是正定的矩阵。
[未知用户] 写一篇加强版的吧!
[未知用户] 越简单的东西可能忽略的细节越多(就好像离家越近的景点去得越少)……
[未知用户] 赞!前排坐等小轩哥的加强版!
[未知用户] 我怎么感觉轩哥说的是【请园主】写一篇加强版的吧!
[未知用户] 对啊,我是说坐等园主的加强版啊。
[未知用户] @Yihui 你装个傻卖个萌配合一下不好吗?
@Yixuan 不要揭穿我写不来的真相好么...我只是站着说话不腰疼而已...
@Yixuan 不要揭穿我写不来的真相好么...我只是站着说话不腰疼而已...
5 天 后
如果contour不是椭圆而是圆的话,是不是沿着梯度走更直接呢?在contour是圆的情况下,沿“共轭梯度”实际上不是最优的路径?我觉得按照那种梯度效果最好是跟我们目标函数有关系?是contour接近圆呢还是更扁的椭圆
[未知用户] 共轭梯度和梯度的第一步是一样的。如果等高线是一个圆,两种方法都会在第一步直接到达圆心。