# 9.3多元线性回归

## 模型与最小二乘

设有 $p$ 个解释变量和 $n$ 组观测，含截距的多元线性回归模型为

$$
Y_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}+\varepsilon_i,\qquad i=1,\ldots,n.
$$

把所有观测叠成向量，模型写作

$$
\boldsymbol Y=X\boldsymbol\beta+\boldsymbol\varepsilon,
$$

其中 $\boldsymbol Y=(Y_1,\ldots,Y_n)^{\mathsf T}$，$\boldsymbol\beta=(\beta_0,\beta_1,\ldots,\beta_p)^{\mathsf T}$，而

$$
X=
\begin{pmatrix}
1&x_{11}&\cdots&x_{1p}\\
1&x_{21}&\cdots&x_{2p}\\
\vdots&\vdots&&\vdots\\
1&x_{n1}&\cdots&x_{np}
\end{pmatrix}
$$

是 $n\times(p+1)$ 的**设计矩阵**。第一列全为 $1$，对应截距。

模型要求 $n>p+1$ 且 $X$ 满列秩。满列秩等价于各列线性无关，避免了解释变量之间完全共线；若某一列可由其他列线性表示，$X^{\mathsf T}X$ 不可逆，系数就无法唯一确定。

这里的“线性”指对参数 $\boldsymbol\beta$ 线性，不要求对解释变量线性。例如

$$
Y_i=\beta_0+\beta_1x_i+\beta_2x_i^2+\varepsilon_i
$$

仍是线性回归，只要把 $x_i$ 与 $x_i^2$ 看成两个解释变量。

系数 $\beta_j$ 表示在其他解释变量保持不变的条件下，第 $j$ 个变量增加一个单位时条件均值 $E(Y\mid \boldsymbol x)$ 的变化量。这个解释依赖模型同时包含这些变量；不能把它与只放入该变量的一元回归斜率混同。

[来源：多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/#definition)

### 最小二乘估计

最小二乘估计最小化残差平方和

$$
Q(\boldsymbol b)=(\boldsymbol Y-X\boldsymbol b)^{\mathsf T}(\boldsymbol Y-X\boldsymbol b).
$$

对 $\boldsymbol b$ 求导并令其为零，得到正规方程

$$
X^{\mathsf T}X\hat{\boldsymbol\beta}=X^{\mathsf T}\boldsymbol Y.
$$

当 $X$ 满列秩时，$X^{\mathsf T}X$ 可逆，理论解为

$$
\hat{\boldsymbol\beta}=(X^{\mathsf T}X)^{-1}X^{\mathsf T}\boldsymbol Y.
$$

实际数值计算通常使用QR或SVD分解求解，避免显式求逆放大舍入误差。

拟合值与残差为

$$
\hat{\boldsymbol Y}=X\hat{\boldsymbol\beta},\qquad
\boldsymbol e=\boldsymbol Y-\hat{\boldsymbol Y},\qquad
SSE=\boldsymbol e^{\mathsf T}\boldsymbol e.
$$

误差方差 $\sigma^2$ 的无偏估计为

$$
s^2=\frac{SSE}{n-p-1}.
$$

自由度 $n-p-1$ 等于观测数减去 $p+1$ 个待估系数。模型每增加一个参数，就消耗一个自由度。

### 估计量的性质

若误差满足

$$
E(\boldsymbol\varepsilon)=\boldsymbol 0,\qquad
\operatorname{Cov}(\boldsymbol\varepsilon)=\sigma^2I,
$$

则最小二乘估计满足

$$
E(\hat{\boldsymbol\beta})=\boldsymbol\beta,\qquad
\operatorname{Cov}(\hat{\boldsymbol\beta})=\sigma^2(X^{\mathsf T}X)^{-1}.
$$

也就是说，$\hat{\boldsymbol\beta}$ 是 $\boldsymbol\beta$ 的无偏估计，其协方差矩阵由设计矩阵与误差方差共同决定。

在上述条件下，最小二乘估计在所有线性无偏估计中方差最小，这就是**高斯—马尔可夫定理**。这一定理不要求误差服从正态分布。

$t$ 检验、$F$ 检验和区间估计要给出精确分布，还需要额外假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且同分布于 $N(0,\sigma^2)$；$t$、$F$ 分布与上侧分位点的定义见[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。条件不同，能用的结论也不同；高斯—马尔可夫定理的最优性不能当作精确推断的依据。

> [!IMPORTANT]
> **两套条件不要混用**
>
> 高斯—马尔可夫定理只保证线性无偏估计中的方差最优，不要求正态误差；$t$ 检验、$F$ 检验和区间估计则需要独立正态误差。写结论时把所用的条件一起写出来。

### 拟合评价

决定系数与调整后的决定系数分别为

$$
R^2=1-\frac{SSE}{SST},\qquad
\bar R^2=1-\frac{SSE/(n-p-1)}{SST/(n-1)}.
$$

$R^2$ 随解释变量增加不会减小；调整后的 $R^2$ 对参数数目作了惩罚，可能为负。比较解释变量个数不同的模型时，应看调整后的 $R^2$，并配合嵌套检验或样本外评估。

解释变量之间高度相关会造成**多重共线性**。此时 $X^{\mathsf T}X$ 接近奇异，$(X^{\mathsf T}X)^{-1}$ 的对角元变大，系数的标准误随之增大，估计值对数据的微小变化很敏感。多重共线性下整体 $F$ 检验显著而部分单个 $t$ 检验不显著并不矛盾：整体检验问的是“至少有一个变量有用”，单个检验问的是“在其他变量已经保留时这个变量是否还有额外贡献”。

[来源：多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/#estimator-properties)

## 整体显著性

考虑含截距的[多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/)：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。

整体检验的原假设是所有斜率同时为零：

$$
H_0:\beta_1=\cdots=\beta_p=0.
$$

含截距时仍有平方和分解

$$
SST=\sum_{i=1}^n(Y_i-\bar Y)^2=SSR+SSE,
$$

其中 $SSR$ 是回归平方和。在 $H_0$ 与正态误差下，

$$
F=\frac{SSR/p}{SSE/(n-p-1)}\sim F(p,n-p-1).
$$

当 $F>F_\alpha(p,n-p-1)$ 时拒绝 $H_0$，认为至少有一个斜率不为零。这里 $F_\alpha$ 是上侧 $\alpha$ 分位点，检验只用右尾。

整体显著只说明 $p$ 个斜率中至少有一个不为零，并不保证每个解释变量都显著，也不指出是哪一个变量在起作用。要定位具体变量，还要逐个检查单个系数，或者比较嵌套模型。

[来源：多元回归的整体显著性检验](/knowledge/maths/statistics/multiple-regression-overall-test/#definition)

## 单个系数

考虑含截距的[多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/)：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。

记

$$
C=(X^{\mathsf T}X)^{-1},
$$

并令 $c_{jj}$ 为 $C$ 中与 $\beta_j$ 对应的对角元（下标跟随系数编号，截距对应 $c_{00}$）。检验

$$
H_0:\beta_j=\beta_{j,0}
$$

使用统计量

$$
T_j=\frac{\hat\beta_j-\beta_{j,0}}{s\sqrt{c_{jj}}}\sim t(n-p-1),
$$

其中 $s=\sqrt{s^2}$。对应的 $1-\alpha$ 置信区间为

$$
\hat\beta_j\pm t_{\alpha/2}(n-p-1)s\sqrt{c_{jj}}.
$$

这里 $t_{\alpha/2}(n-p-1)$ 是上侧 $\alpha/2$ 分位点，双侧检验的拒绝域为 $|T_j|>t_{\alpha/2}(n-p-1)$。

这个检验是在模型中保留其他解释变量的条件下进行的：它衡量的是在已有其他变量时，第 $j$ 个变量是否还有额外贡献。它与只对 $x_j$ 和 $Y$ 做一元回归得到的斜率检验不是同一个问题，两者的估计值与标准误都可能不同。

[来源：多元回归的单个系数推断](/knowledge/maths/statistics/multiple-regression-coefficient-test/#definition)

## 嵌套模型

考虑含截距的[多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/)：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。

设完整模型含 $p$ 个斜率，约束模型是它的特例，对完整模型施加了 $q$ 个独立约束。例如完整模型含 $x_1,x_2,x_3$，约束模型删去 $x_3$，则 $q=1$。

记约束模型与完整模型的残差平方和分别为 $SSE_R$ 与 $SSE_F$。在约束成立（即 $H_0$）且正态误差下，

$$
F=\frac{(SSE_R-SSE_F)/q}{SSE_F/(n-p-1)}\sim F(q,n-p-1).
$$

$F$ 值较大时拒绝约束，认为被约束的系数提供了显著的解释能力。

比较的两个模型必须使用同一批观测，并且约束模型确实嵌套在完整模型中。增加解释变量后 $SSE$ 不会增大，$R^2$ 也不会减小，所以不能只看 $R^2$ 变大就断定新模型更好；嵌套 $F$ 检验把新增参数消耗的自由度也计入了比较。

[来源：嵌套回归模型的比较](/knowledge/maths/statistics/nested-regression-comparison/#definition)

## 预测与检查

考虑含截距的[多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/)：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。

在 $\boldsymbol x_0=(1,x_{01},\ldots,x_{0p})^{\mathsf T}$ 处，点预测为

$$
\hat y_0=\boldsymbol x_0^{\mathsf T}\hat{\boldsymbol\beta}.
$$

条件均值 $E(Y\mid \boldsymbol x_0)$ 的 $1-\alpha$ 置信区间半宽为

$$
t_{\alpha/2}(n-p-1)s\sqrt{\boldsymbol x_0^{\mathsf T}C\boldsymbol x_0}.
$$

与已有观测独立、在 $\boldsymbol x_0$ 处服从同一模型且具有相同误差方差的新观测 $Y_0$ 的预测区间，根号内还要再加 $1$，半宽为

$$
t_{\alpha/2}(n-p-1)s\sqrt{1+\boldsymbol x_0^{\mathsf T}C\boldsymbol x_0}.
$$

多出的 $1$ 对应新个体自身的随机波动，所以预测区间总比同一位置的均值响应区间宽。

[来源：多元回归的均值区间与预测区间](/knowledge/maths/statistics/multiple-regression-prediction/#definition)

预测前还应[检查残差](/knowledge/maths/statistics/regression-diagnostics/)并判断预测点是否位于观测覆盖范围。整体显著与单个系数显著回答不同问题，不能互相替代。