9.3多元线性回归

设有 $p$ 个解释变量和 $n$ 组观测，含截距的多元线性回归模型为

把所有观测叠成向量，模型写作

其中 $\boldsymbol Y=(Y_1,\ldots,Y_n)^{\mathsf T}$，$\boldsymbol\beta=(\beta_0,\beta_1,\ldots,\beta_p)^{\mathsf T}$，而

是 $n\times(p+1)$ 的设计矩阵。第一列全为 $1$，对应截距。

模型要求 $n>p+1$ 且 $X$ 满列秩。满列秩等价于各列线性无关，避免了解释变量之间完全共线；若某一列可由其他列线性表示，$X^{\mathsf T}X$ 不可逆，系数就无法唯一确定。

这里的“线性”指对参数 $\boldsymbol\beta$ 线性，不要求对解释变量线性。例如

仍是线性回归，只要把 $x_i$ 与 $x_i^2$ 看成两个解释变量。

系数 $\beta_j$ 表示在其他解释变量保持不变的条件下，第 $j$ 个变量增加一个单位时条件均值 $E(Y\mid \boldsymbol x)$ 的变化量。这个解释依赖模型同时包含这些变量；不能把它与只放入该变量的一元回归斜率混同。

最小二乘估计最小化残差平方和

对 $\boldsymbol b$ 求导并令其为零，得到正规方程

当 $X$ 满列秩时，$X^{\mathsf T}X$ 可逆，理论解为

实际数值计算通常使用QR或SVD分解求解，避免显式求逆放大舍入误差。

拟合值与残差为

误差方差 $\sigma^2$ 的无偏估计为

自由度 $n-p-1$ 等于观测数减去 $p+1$ 个待估系数。模型每增加一个参数，就消耗一个自由度。

若误差满足

则最小二乘估计满足

也就是说，$\hat{\boldsymbol\beta}$ 是 $\boldsymbol\beta$ 的无偏估计，其协方差矩阵由设计矩阵与误差方差共同决定。

在上述条件下，最小二乘估计在所有线性无偏估计中方差最小，这就是高斯—马尔可夫定理。这一定理不要求误差服从正态分布。

$t$ 检验、$F$ 检验和区间估计要给出精确分布，还需要额外假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且同分布于 $N(0,\sigma^2)$；$t$、$F$ 分布与上侧分位点的定义见上侧分位点。条件不同，能用的结论也不同；高斯—马尔可夫定理的最优性不能当作精确推断的依据。

决定系数与调整后的决定系数分别为

$R^2$ 随解释变量增加不会减小；调整后的 $R^2$ 对参数数目作了惩罚，可能为负。比较解释变量个数不同的模型时，应看调整后的 $R^2$，并配合嵌套检验或样本外评估。

解释变量之间高度相关会造成多重共线性。此时 $X^{\mathsf T}X$ 接近奇异，$(X^{\mathsf T}X)^{-1}$ 的对角元变大，系数的标准误随之增大，估计值对数据的微小变化很敏感。多重共线性下整体 $F$ 检验显著而部分单个 $t$ 检验不显著并不矛盾：整体检验问的是“至少有一个变量有用”，单个检验问的是“在其他变量已经保留时这个变量是否还有额外贡献”。

考虑含截距的多元线性回归：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用上侧分位点。

整体检验的原假设是所有斜率同时为零：

含截距时仍有平方和分解

其中 $SSR$ 是回归平方和。在 $H_0$ 与正态误差下，

当 $F>F_\alpha(p,n-p-1)$ 时拒绝 $H_0$，认为至少有一个斜率不为零。这里 $F_\alpha$ 是上侧 $\alpha$ 分位点，检验只用右尾。

整体显著只说明 $p$ 个斜率中至少有一个不为零，并不保证每个解释变量都显著，也不指出是哪一个变量在起作用。要定位具体变量，还要逐个检查单个系数，或者比较嵌套模型。

考虑含截距的多元线性回归：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用上侧分位点。

记

并令 $c_{jj}$ 为 $C$ 中与 $\beta_j$ 对应的对角元（下标跟随系数编号，截距对应 $c_{00}$）。检验

使用统计量

其中 $s=\sqrt{s^2}$。对应的 $1-\alpha$ 置信区间为

这里 $t_{\alpha/2}(n-p-1)$ 是上侧 $\alpha/2$ 分位点，双侧检验的拒绝域为 $|T_j|>t_{\alpha/2}(n-p-1)$。

这个检验是在模型中保留其他解释变量的条件下进行的：它衡量的是在已有其他变量时，第 $j$ 个变量是否还有额外贡献。它与只对 $x_j$ 和 $Y$ 做一元回归得到的斜率检验不是同一个问题，两者的估计值与标准误都可能不同。

考虑含截距的多元线性回归：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用上侧分位点。

设完整模型含 $p$ 个斜率，约束模型是它的特例，对完整模型施加了 $q$ 个独立约束。例如完整模型含 $x_1,x_2,x_3$，约束模型删去 $x_3$，则 $q=1$。

记约束模型与完整模型的残差平方和分别为 $SSE_R$ 与 $SSE_F$。在约束成立（即 $H_0$）且正态误差下，

$F$ 值较大时拒绝约束，认为被约束的系数提供了显著的解释能力。

比较的两个模型必须使用同一批观测，并且约束模型确实嵌套在完整模型中。增加解释变量后 $SSE$ 不会增大，$R^2$ 也不会减小，所以不能只看 $R^2$ 变大就断定新模型更好；嵌套 $F$ 检验把新增参数消耗的自由度也计入了比较。

考虑含截距的多元线性回归：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用上侧分位点。

在 $\boldsymbol x_0=(1,x_{01},\ldots,x_{0p})^{\mathsf T}$ 处，点预测为

条件均值 $E(Y\mid \boldsymbol x_0)$ 的 $1-\alpha$ 置信区间半宽为

与已有观测独立、在 $\boldsymbol x_0$ 处服从同一模型且具有相同误差方差的新观测 $Y_0$ 的预测区间，根号内还要再加 $1$，半宽为

多出的 $1$ 对应新个体自身的随机波动，所以预测区间总比同一位置的均值响应区间宽。