9.2一元线性回归

给定解释变量的观测值 $x_1,\ldots,x_n$，一元线性回归模型设为

其中 $\beta_0$ 是截距，$\beta_1$ 是斜率，$\varepsilon_i$ 是不可观测的随机误差。$Y_i$ 是随机变量，$x_i$ 当作已知常数。

计算最小二乘估计本身不需要误差分布假设；讨论它的无偏性、方差和后续推断时，通常假定三条基本条件：$E(\varepsilon_i)=0$；每个误差的方差相同，即 $D(\varepsilon_i)=\sigma^2$；不同误差不相关，即 $\operatorname{Cov}(\varepsilon_i,\varepsilon_j)=0$（$i\ne j$）。若要使用精确的 $t$、$F$ 推断，还要进一步假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且服从正态分布。此外要求 $n>2$，并且 $x_1,\ldots,x_n$ 不全相同；否则 $L_{xx}=0$，斜率无法识别。

斜率 $\beta_1$ 表示 $x$ 增加一个单位时条件均值 $E(Y\mid x)$ 的变化量。单个 $Y$ 还受随机误差影响，观测值不会恰好按 $\beta_1$ 变化。回归关系说明的是条件均值随 $x$ 如何变化，本身不自动说明 $x$ 是 $Y$ 的原因。

用直线 $\hat y=b_0+b_1x$ 拟合数据，最小二乘法选择使残差平方和

达到最小的 $b_0,b_1$。记样本均值 $\bar x=\frac1n\sum_i x_i$、$\bar y=\frac1n\sum_i y_i$，以及

当 $L_{xx}>0$ 时，最小二乘估计为

拟合值为 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$，残差为 $e_i=y_i-\hat y_i$。含截距时，最小二乘解满足

因此回归直线经过点 $(\bar x,\bar y)$。

残差 $e_i$ 由同一组数据拟合得到，彼此通常并不独立；它也不等于不可观测的随机误差 $\varepsilon_i$。不能把残差当作误差的独立样本。

含截距时，总平方和 $SST$、回归平方和 $SSR$ 与残差平方和 $SSE$ 满足

其中

误差方差 $\sigma^2$ 的无偏估计为

自由度是 $n-2$，因为模型中估计了截距和斜率两个参数。

当 $L_{yy}>0$ 时，决定系数为

其中

是样本相关系数。

$R^2$ 度量的是样本内的线性拟合程度。它随样本变化，不能说明模型条件成立，也不保证对新的观测预测准确。$R^2=r^2$ 只在含截距的一元线性回归中成立；换成多元回归或去掉截距，这个等式不再成立。

在一元线性回归中，设 $n>2$、$L_{xx}=\sum_i(x_i-\bar x)^2>0$，$s^2=SSE/(n-2)$，且误差独立同分布为正态，$s>0$。

以下结论都在正态误差模型下成立；$t$ 分布与上侧分位点的定义见上侧分位点。估计量的方差为

用 $s^2$ 代替 $\sigma^2$ 后，斜率的 $1-\alpha$ 置信区间为

其中 $s=\sqrt{s^2}$，$t_{\alpha/2}(n-2)$ 是自由度为 $n-2$ 的 $t$ 分布上侧 $\alpha/2$ 分位点。

检验 $H_0:\beta_1=\beta_{1,0}$ 时，使用统计量

双侧拒绝域为 $|T|>t_{\alpha/2}(n-2)$。

对 $H_0:\beta_1=0$，也可以用

并且 $F=T^2$。对同一个原假设，单侧 $F$ 检验与双侧 $t$ 检验给出相同的结论。

在一元线性回归中，设 $n>2$、$L_{xx}=\sum_i(x_i-\bar x)^2>0$，$s^2=SSE/(n-2)$，且误差独立同分布为正态，$s>0$。

在给定的 $x_0$ 处，点预测为

条件均值 $E(Y\mid x_0)$ 的 $1-\alpha$ 置信区间为

设新个体 $Y_0$ 与已有观测独立，在 $x_0$ 处服从同一线性模型且误差方差仍为 $\sigma^2$，则它的预测区间为

预测区间根号内多出的 $1$ 对应新个体自身的随机波动，所以同一位置上的预测区间总比均值响应区间宽。两种区间都在 $x_0$ 远离 $\bar x$ 时变宽。

若 $x_0$ 超出观测到的 $x$ 范围，公式仍按同一条直线外推，但线性关系在范围外是否成立没有任何数据支持；外推结论要比内插结论弱得多。