多元线性回归

设有 $p$ 个解释变量和 $n$ 组观测，含截距的多元线性回归模型为

把所有观测叠成向量，模型写作

其中 $\boldsymbol Y=(Y_1,\ldots,Y_n)^{\mathsf T}$，$\boldsymbol\beta=(\beta_0,\beta_1,\ldots,\beta_p)^{\mathsf T}$，而

是 $n\times(p+1)$ 的设计矩阵。第一列全为 $1$，对应截距。

模型要求 $n>p+1$ 且 $X$ 满列秩。满列秩等价于各列线性无关，避免了解释变量之间完全共线；若某一列可由其他列线性表示，$X^{\mathsf T}X$ 不可逆，系数就无法唯一确定。

这里的“线性”指对参数 $\boldsymbol\beta$ 线性，不要求对解释变量线性。例如

仍是线性回归，只要把 $x_i$ 与 $x_i^2$ 看成两个解释变量。

系数 $\beta_j$ 表示在其他解释变量保持不变的条件下，第 $j$ 个变量增加一个单位时条件均值 $E(Y\mid \boldsymbol x)$ 的变化量。这个解释依赖模型同时包含这些变量；不能把它与只放入该变量的一元回归斜率混同。

最小二乘估计最小化残差平方和

对 $\boldsymbol b$ 求导并令其为零，得到正规方程

当 $X$ 满列秩时，$X^{\mathsf T}X$ 可逆，理论解为

实际数值计算通常使用QR或SVD分解求解，避免显式求逆放大舍入误差。

拟合值与残差为

误差方差 $\sigma^2$ 的无偏估计为

自由度 $n-p-1$ 等于观测数减去 $p+1$ 个待估系数。模型每增加一个参数，就消耗一个自由度。

若误差满足

则最小二乘估计满足

也就是说，$\hat{\boldsymbol\beta}$ 是 $\boldsymbol\beta$ 的无偏估计，其协方差矩阵由设计矩阵与误差方差共同决定。

在上述条件下，最小二乘估计在所有线性无偏估计中方差最小，这就是高斯—马尔可夫定理。这一定理不要求误差服从正态分布。

$t$ 检验、$F$ 检验和区间估计要给出精确分布，还需要额外假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且同分布于 $N(0,\sigma^2)$；$t$、$F$ 分布与上侧分位点的定义见上侧分位点。条件不同，能用的结论也不同；高斯—马尔可夫定理的最优性不能当作精确推断的依据。

决定系数与调整后的决定系数分别为

$R^2$ 随解释变量增加不会减小；调整后的 $R^2$ 对参数数目作了惩罚，可能为负。比较解释变量个数不同的模型时，应看调整后的 $R^2$，并配合嵌套检验或样本外评估。

解释变量之间高度相关会造成多重共线性。此时 $X^{\mathsf T}X$ 接近奇异，$(X^{\mathsf T}X)^{-1}$ 的对角元变大，系数的标准误随之增大，估计值对数据的微小变化很敏感。多重共线性下整体 $F$ 检验显著而部分单个 $t$ 检验不显著并不矛盾：整体检验问的是“至少有一个变量有用”，单个检验问的是“在其他变量已经保留时这个变量是否还有额外贡献”。