我在文末提及的线性模型(我认为的线性模型)至少包含王松桂、史建红、尹素菊和吴密霞编著的《线性模型引论》对线性模型的定义。而我认为的线性的含义是预测 predictor (即条件期望)是协变量(包括可观测的,不可直接观测的)和模型参数(不算超参数)的线性组合。所以 LM、GLM、LMM、GLMM、GAM、GAMM 等都是线性模型,高维、低维也都是线性模型。文中有些检验已经破坏经典线性回归模型的假设(常称之为高斯---马尔科夫假设),比如残差同方差假设,残差独立假设,破坏之后至少对应到线性混合效应模型 LMM,文中迟迟不正面提及混合效应模型,我猜可能是因为随机效应不太好解释,光别名就有一堆,而且曾被大佬 Andrew Gelman 发文吐槽过,它像黑洞一样,看不见、摸不着但是又真实存在!此处,可以去看杨灿老师的文章 --- 昔日因,今日意。
我认为的统计模型就两大类,一类是线性、一类是非线性,下面就有熟悉的线性模型,还有不熟悉的非线性模型
$$Y = \beta_1 \cdot X_1 + \beta_2 \cdot X_2 + \epsilon \quad (1)$$
$$Y = |\beta_1 \cdot X_1 + \beta_2 \cdot X_2| + \epsilon \quad (2)$$
$$Y = |\beta_1| \cdot X_1 + |\beta_2| \cdot X_2 + \epsilon \quad (3)$$
$$Y = \beta_1^2 \cdot X_1 + \beta_2^2 \cdot X_2 + \epsilon \quad (4)$$
$$Y = \exp(\beta_1 \cdot X_1 + \beta_2 \cdot X_2) + \epsilon \quad (5)$$
$$Y = \beta_1 \cdot \sin(X_1) + \beta_2 \cdot \cos(X_2) + \epsilon \quad (6)$$
$$Y = \sin(\beta_1 \cdot X_1) + \cos(\beta_2 \cdot X_2) + \epsilon \quad (7)$$
$$Y = \beta_0 + \beta_{1}\cdot X + \cdots + \beta_{k-1}\cdot X^{k-1} + \epsilon,\quad k = 1, 2, \cdots \quad (8)$$
大家可以思考下,哪些是线性模型,哪些是非线性模型?