一元线性回归

给定解释变量的观测值 $x_1,\ldots,x_n$，一元线性回归模型设为

其中 $\beta_0$ 是截距，$\beta_1$ 是斜率，$\varepsilon_i$ 是不可观测的随机误差。$Y_i$ 是随机变量，$x_i$ 当作已知常数。

计算最小二乘估计本身不需要误差分布假设；讨论它的无偏性、方差和后续推断时，通常假定三条基本条件：$E(\varepsilon_i)=0$；每个误差的方差相同，即 $D(\varepsilon_i)=\sigma^2$；不同误差不相关，即 $\operatorname{Cov}(\varepsilon_i,\varepsilon_j)=0$（$i\ne j$）。若要使用精确的 $t$、$F$ 推断，还要进一步假定 $\varepsilon_1,\ldots,\varepsilon_n$ 相互独立且服从正态分布。此外要求 $n>2$，并且 $x_1,\ldots,x_n$ 不全相同；否则 $L_{xx}=0$，斜率无法识别。

斜率 $\beta_1$ 表示 $x$ 增加一个单位时条件均值 $E(Y\mid x)$ 的变化量。单个 $Y$ 还受随机误差影响，观测值不会恰好按 $\beta_1$ 变化。回归关系说明的是条件均值随 $x$ 如何变化，本身不自动说明 $x$ 是 $Y$ 的原因。

用直线 $\hat y=b_0+b_1x$ 拟合数据，最小二乘法选择使残差平方和

达到最小的 $b_0,b_1$。记样本均值 $\bar x=\frac1n\sum_i x_i$、$\bar y=\frac1n\sum_i y_i$，以及

当 $L_{xx}>0$ 时，最小二乘估计为

拟合值为 $\hat y_i=\hat\beta_0+\hat\beta_1x_i$，残差为 $e_i=y_i-\hat y_i$。含截距时，最小二乘解满足

因此回归直线经过点 $(\bar x,\bar y)$。

残差 $e_i$ 由同一组数据拟合得到，彼此通常并不独立；它也不等于不可观测的随机误差 $\varepsilon_i$。不能把残差当作误差的独立样本。

含截距时，总平方和 $SST$、回归平方和 $SSR$ 与残差平方和 $SSE$ 满足

其中

误差方差 $\sigma^2$ 的无偏估计为

自由度是 $n-2$，因为模型中估计了截距和斜率两个参数。

当 $L_{yy}>0$ 时，决定系数为

其中

是样本相关系数。

$R^2$ 度量的是样本内的线性拟合程度。它随样本变化，不能说明模型条件成立，也不保证对新的观测预测准确。$R^2=r^2$ 只在含截距的一元线性回归中成立；换成多元回归或去掉截距，这个等式不再成立。