回复 第1楼 的 vivihe：之前看到the element of statistical learning时遇到regularized这个词也觉得奇怪。后来看了the nature of statistical learning theory的时候大概了解了一些。大概是这样的：
一些问题是ill posed，比如求解方程组的时候，如果系数矩阵是奇异的，那么解不唯一（线性代数里的基本常识）。所以为了得到一个唯一的解，需要一些regularization。线性模型中，设计阵也有可能是奇异的，也就是说可能会有复共线性，那么得出来的模型就是不唯一的。没有解释力的，所以要正则化。
为了防止过拟合而增加的项通常叫做惩罚项，因为线性回归用的是最小二乘方法是一个最优化算法，是要最小化某准则的，而模型的精准程度和模型的推广能力之间是有个权衡的，也就是bias和variance之间的权衡。因此，加入一个惩罚项的准则可以做到这样的权衡吧。
我的理解姑且是这样。求大神解释。
