# 多元回归的单个系数推断

## 定义

考虑含截距的[多元线性回归](/knowledge/maths/statistics/multiple-linear-regression/)：有 $n$ 个观测与 $p$ 个斜率，设计矩阵满列秩，$n>p+1$。假定误差相互独立且服从 $N(0,\sigma^2)$，记误差方差估计为 $s^2=SSE/(n-p-1)$，并采用[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。

记

$$
C=(X^{\mathsf T}X)^{-1},
$$

并令 $c_{jj}$ 为 $C$ 中与 $\beta_j$ 对应的对角元（下标跟随系数编号，截距对应 $c_{00}$）。检验

$$
H_0:\beta_j=\beta_{j,0}
$$

使用统计量

$$
T_j=\frac{\hat\beta_j-\beta_{j,0}}{s\sqrt{c_{jj}}}\sim t(n-p-1),
$$

其中 $s=\sqrt{s^2}$。对应的 $1-\alpha$ 置信区间为

$$
\hat\beta_j\pm t_{\alpha/2}(n-p-1)s\sqrt{c_{jj}}.
$$

这里 $t_{\alpha/2}(n-p-1)$ 是上侧 $\alpha/2$ 分位点，双侧检验的拒绝域为 $|T_j|>t_{\alpha/2}(n-p-1)$。

这个检验是在模型中保留其他解释变量的条件下进行的：它衡量的是在已有其他变量时，第 $j$ 个变量是否还有额外贡献。它与只对 $x_j$ 和 $Y$ 做一元回归得到的斜率检验不是同一个问题，两者的估计值与标准误都可能不同。

## 例子

**一个解释变量时回到一元公式**

当 $p=1$ 时，$X$ 的第一列全为 $1$，第二列为 $(x_1,\ldots,x_n)^{\mathsf T}$。计算可得

$$
(X^{\mathsf T}X)^{-1}
=\frac{1}{nL_{xx}}
\begin{pmatrix}
\sum_i x_i^2&-\sum_i x_i\\
-\sum_i x_i&n
\end{pmatrix},
$$

其中 $L_{xx}=\sum_i(x_i-\bar x)^2$。与 $\beta_1$ 对应的对角元（按系数下标记为 $c_{11}$，即矩阵的 $(2,2)$ 元）为

$$
c_{11}=\frac{1}{L_{xx}},
$$

于是 $T_1=(\hat\beta_1-\beta_{1,0})/(s/\sqrt{L_{xx}})$，与一元线性回归的斜率检验一致。多元回归的公式是一元情形的推广，而不是另一套独立结论。

## 探索

交互演示：其他变量会怎样影响系数的标准误？。观察解释变量共线时剩余信息与标准误的变化。 请在站点操作演示。