# 9.2一元线性回归

## 模型

给定解释变量的观测值 $x_1,\ldots,x_n$，一元线性回归模型设为

$$
Y_i=\beta_0+\beta_1x_i+\varepsilon_i,\qquad i=1,\ldots,n,
$$

其中 $\beta_0$ 是截距，$\beta_1$ 是斜率，$\varepsilon_i$ 是不可观测的随机误差。$Y_i$ 是随机变量，$x_i$ 当作已知常数。

计算最小二乘估计本身不需要误差分布假设；讨论它的无偏性、方差和后续推断时，通常假定三条基本条件：$E(\varepsilon_i)=0$；每个误差的方差相同，即 $D(\varepsilon_i)=\sigma^2$；不同误差不相关，即 $\operatorname{Cov}(\varepsilon_i,\varepsilon_j)=0$（$i\ne j$）。若要使用精确的 $t$、$F$ 推断，还要进一步假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且服从正态分布。此外要求 $n>2$，并且 $x_1,\ldots,x_n$ 不全相同；否则 $L_{xx}=0$，斜率无法识别。

斜率 $\beta_1$ 表示 $x$ 增加一个单位时**条件均值** $E(Y\mid x)$ 的变化量。单个 $Y$ 还受随机误差影响，观测值不会恰好按 $\beta_1$ 变化。回归关系说明的是条件均值随 $x$ 如何变化，本身不自动说明 $x$ 是 $Y$ 的原因。

[来源：一元线性回归](/knowledge/maths/statistics/simple-linear-regression/#definition)

## 最小二乘估计与拟合

### 最小二乘估计

用直线 $\hat y=b_0+b_1x$ 拟合数据，最小二乘法选择使残差平方和

$$
Q(b_0,b_1)=\sum_{i=1}^n(y_i-b_0-b_1x_i)^2
$$

达到最小的 $b_0,b_1$。记样本均值 $\bar x=\frac1n\sum_i x_i$、$\bar y=\frac1n\sum_i y_i$，以及

$$
L_{xx}=\sum_{i=1}^n(x_i-\bar x)^2,\qquad
L_{yy}=\sum_{i=1}^n(y_i-\bar y)^2,\qquad
L_{xy}=\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y).
$$

当 $L_{xx}>0$ 时，最小二乘估计为

$$
\hat\beta_1=\frac{L_{xy}}{L_{xx}},\qquad
\hat\beta_0=\bar y-\hat\beta_1\bar x.
$$

**证明** 由正规方程解出截距与斜率

对 $Q$ 分别求偏导并令其为零：

$$
\frac{\partial Q}{\partial b_0}
=-2\sum_{i=1}^n(y_i-b_0-b_1x_i)=0,
$$

$$
\frac{\partial Q}{\partial b_1}
=-2\sum_{i=1}^n x_i(y_i-b_0-b_1x_i)=0.
$$

第一式给出 $b_0=\bar y-b_1\bar x$。代入第二式，并利用 $\sum_i x_i=n\bar x$ 与 $n\bar x\bar y=\bar y\sum_i x_i$，得到

$$
\sum_i x_iy_i-n\bar x\bar y
+b_1\left(n\bar x^2-\sum_i x_i^2\right)=0.
$$

左边第一项正是 $L_{xy}$，而

$$
\sum_i x_i^2-n\bar x^2=\sum_i(x_i-\bar x)^2=L_{xx},
$$

所以 $L_{xy}-b_1L_{xx}=0$，即 $b_1=L_{xy}/L_{xx}$。

拟合值为 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$，残差为 $e_i=y_i-\hat y_i$。含截距时，最小二乘解满足

$$
\sum_{i=1}^n e_i=0,\qquad
\sum_{i=1}^n x_ie_i=0,
$$

因此回归直线经过点 $(\bar x,\bar y)$。

残差 $e_i$ 由同一组数据拟合得到，彼此通常并不独立；它也不等于不可观测的随机误差 $\varepsilon_i$。不能把残差当作误差的独立样本。

### 平方和分解与拟合程度

含截距时，总平方和 $SST$、回归平方和 $SSR$ 与残差平方和 $SSE$ 满足

$$
SST=L_{yy}=SSR+SSE,
$$

其中

$$
SSR=\sum_{i=1}^n(\hat y_i-\bar y)^2=\frac{L_{xy}^2}{L_{xx}},\qquad
SSE=\sum_{i=1}^n e_i^2=L_{yy}-\frac{L_{xy}^2}{L_{xx}}.
$$

误差方差 $\sigma^2$ 的无偏估计为

$$
s^2=\frac{SSE}{n-2}.
$$

自由度是 $n-2$，因为模型中估计了截距和斜率两个参数。

当 $L_{yy}>0$ 时，决定系数为

$$
R^2=1-\frac{SSE}{SST}=\frac{SSR}{SST}=r^2,
$$

其中

$$
r=\frac{L_{xy}}{\sqrt{L_{xx}L_{yy}}}
$$

是样本相关系数。

$R^2$ 度量的是样本内的线性拟合程度。它随样本变化，不能说明模型条件成立，也不保证对新的观测预测准确。$R^2=r^2$ 只在含截距的一元线性回归中成立；换成多元回归或去掉截距，这个等式不再成立。

> [!WARNING]
> **高 $R^2$ 不是模型合格的证明**
>
> 拟合度高只说明这组样本上的残差平方和相对总平方和小，线性、独立、等方差、正态这些条件仍要单独检查；用它外推时还要确认 $x_0$ 没有超出观测范围。

[来源：一元线性回归](/knowledge/maths/statistics/simple-linear-regression/#fit-properties)

## 斜率的区间与检验

在[一元线性回归](/knowledge/maths/statistics/simple-linear-regression/)中，设 $n>2$、$L_{xx}=\sum_i(x_i-\bar x)^2>0$，$s^2=SSE/(n-2)$，且误差独立同分布为正态，$s>0$。

以下结论都在正态误差模型下成立；$t$ 分布与上侧分位点的定义见[上侧分位点](/knowledge/maths/statistics/upper-tail-quantile/)。估计量的方差为

$$
D(\hat\beta_1)=\frac{\sigma^2}{L_{xx}},\qquad
D(\hat\beta_0)=\sigma^2\left(\frac1n+\frac{\bar x^2}{L_{xx}}\right).
$$

用 $s^2$ 代替 $\sigma^2$ 后，斜率的 $1-\alpha$ 置信区间为

$$
\hat\beta_1\pm t_{\alpha/2}(n-2)\frac{s}{\sqrt{L_{xx}}},
$$

其中 $s=\sqrt{s^2}$，$t_{\alpha/2}(n-2)$ 是自由度为 $n-2$ 的 $t$ 分布上侧 $\alpha/2$ 分位点。

检验 $H_0:\beta_1=\beta_{1,0}$ 时，使用统计量

$$
T=\frac{\hat\beta_1-\beta_{1,0}}{s/\sqrt{L_{xx}}}\sim t(n-2),
$$

双侧拒绝域为 $|T|>t_{\alpha/2}(n-2)$。

对 $H_0:\beta_1=0$，也可以用

$$
F=\frac{SSR}{SSE/(n-2)}\sim F(1,n-2),
$$

并且 $F=T^2$。对同一个原假设，单侧 $F$ 检验与双侧 $t$ 检验给出相同的结论。

[来源：一元回归斜率的推断](/knowledge/maths/statistics/regression-slope-inference/#definition)

## 均值区间与个体预测区间

在[一元线性回归](/knowledge/maths/statistics/simple-linear-regression/)中，设 $n>2$、$L_{xx}=\sum_i(x_i-\bar x)^2>0$，$s^2=SSE/(n-2)$，且误差独立同分布为正态，$s>0$。

在给定的 $x_0$ 处，点预测为

$$
\hat y_0=\hat\beta_0+\hat\beta_1x_0.
$$

条件均值 $E(Y\mid x_0)$ 的 $1-\alpha$ 置信区间为

$$
\hat y_0\pm t_{\alpha/2}(n-2)s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{L_{xx}}}.
$$

设新个体 $Y_0$ 与已有观测独立，在 $x_0$ 处服从同一线性模型且误差方差仍为 $\sigma^2$，则它的预测区间为

$$
\hat y_0\pm t_{\alpha/2}(n-2)s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{L_{xx}}}.
$$

预测区间根号内多出的 $1$ 对应新个体自身的随机波动，所以同一位置上的预测区间总比均值响应区间宽。两种区间都在 $x_0$ 远离 $\bar x$ 时变宽。

若 $x_0$ 超出观测到的 $x$ 范围，公式仍按同一条直线外推，但线性关系在范围外是否成立没有任何数据支持；外推结论要比内插结论弱得多。

[来源：一元回归中的均值区间与预测区间](/knowledge/maths/statistics/regression-prediction/#definition)

均值响应区间描述条件均值的不确定性；新个体预测区间还包括个体波动。同一位置上的后者更宽。外推时，即使公式可计算，观测范围外的线性关系仍需另行判断。