ninghe524
一般最小二乘法一般是用数学模型f(x,B)来拟合实际样本点(x,y)
y=f(x,B)+i
y是自变量x处的纵坐标值;
f(x,B)是假设的数学函数模型,B是函数的参数向量
i是误差
就是要使假设模型f(x)和实际的样本值y在选定的自变量x出的误差值最小,并且是所有样本和假设模型f(x)之间的误差值的平方和最小。
第一步是找假设的数学模型f(x)。这个好像没有有效的方法,我基本靠看图估计。
第二步才是用最小二乘法寻找f(x,B)的参数向量B(B=(b1,b2,b3……)),这里会遇到一些可能的困难有:1、有些数学模型对参数求偏导数很困难;2、即使求出偏导数后都很难求解这些多元方程组。
其实就是在同一个x点上让假设模型f(x)和实测样本y的差值最小。
下面进行尝试:
一般最小二乘法一般是用数学模型f(x,B)来拟合实际样本点(x,y)
y=f(x,B)+i
y是自变量x处的纵坐标值;
f(x,B)是假设的数学函数模型,B是函数的参数向量
i是误差
将该式简写成:
y=f(x)+i…………1式
设最后得到的f(x)满足要求,跟y的相关度很高。
设f(x)的反函数是g(y)。
那么
y=f(x-r)
x-r=g(y)
得:
x=g(y)+r…………2式
r是误差
联立1、2两式:
i=y-f(x)
r=x-g(y)
一般的最小二乘法都是用的1式,将每个样本点的误差i的平方求和,然后求参数偏导函数,然后求令之等于0,然后求解多元方程组得到参数向量。
如果
设i的平方和再加上r的平方和=e的平方和。
那么用e的平方和对某参数b1求偏导数,且令之等于0,然后解出所有的参数。
是否这样比只用第一式误差在某些情况下要小得多呢?
rtist
这个要看什么叫“误差”,哪个是“变”量,以及最重要的研究目的。
ols最小化的是样本点与回归曲线在y方向上的距离平方和,原因是只有y和i是“变”量,x是已知量;
你也可以最小化样本点与回归曲线在x方向上的距离平方和,这个时候y被认为是已知的,x被认为是含有误差的,so called calibration or inverse prediction problem;
你也可以最小化样本点与回归曲线最短距离的平方和(慎用);
你也可以随便变换坐标轴选一个你想要的距离,要看你的实际问题是什么,目的是什么。
这些选择都不能叫改进,因为他们都是与ols并列的选择,是处于同等地位的。
只有在给定的具体问题中,才好评价哪个相对具体问题来说更合理一些。