知识点

多元回归的单个系数推断

定义

考虑含截距的多元线性回归:有 nn 个观测与 pp 个斜率,设计矩阵满列秩,n>p+1n>p+1。假定误差相互独立且服从 N(0,σ2)N(0,\sigma^2),记误差方差估计为 s2=SSE/(n−p−1)s^2=SSE/(n-p-1),并采用上侧分位点。

记

C=(XTX)−1,C=(X^{\mathsf T}X)^{-1},

并令 cjjc_{jj} 为 CC 中与 βj\beta_j 对应的对角元(下标跟随系数编号,截距对应 c00c_{00})。检验

H0:βj=βj,0H_0:\beta_j=\beta_{j,0}

使用统计量

Tj=β^j−βj,0scjj∼t(n−p−1),T_j=\frac{\hat\beta_j-\beta_{j,0}}{s\sqrt{c_{jj}}}\sim t(n-p-1),

其中 s=s2s=\sqrt{s^2}。对应的 1−α1-\alpha 置信区间为

β^j±tα/2(n−p−1)scjj.\hat\beta_j\pm t_{\alpha/2}(n-p-1)s\sqrt{c_{jj}}.

这里 tα/2(n−p−1)t_{\alpha/2}(n-p-1) 是上侧 α/2\alpha/2 分位点,双侧检验的拒绝域为 ∣Tj∣>tα/2(n−p−1)|T_j|>t_{\alpha/2}(n-p-1)。

这个检验是在模型中保留其他解释变量的条件下进行的:它衡量的是在已有其他变量时,第 jj 个变量是否还有额外贡献。它与只对 xjx_j 和 YY 做一元回归得到的斜率检验不是同一个问题,两者的估计值与标准误都可能不同。

例子

一个解释变量时回到一元公式

当 p=1p=1 时,XX 的第一列全为 11,第二列为 (x1,…,xn)T(x_1,\ldots,x_n)^{\mathsf T}。计算可得

(XTX)−1=1nLxx(∑ixi2−∑ixi−∑ixin),(X^{\mathsf T}X)^{-1} =\frac{1}{nL_{xx}} \begin{pmatrix} \sum_i x_i^2&-\sum_i x_i\\ -\sum_i x_i&n \end{pmatrix},

其中 Lxx=∑i(xi−xˉ)2L_{xx}=\sum_i(x_i-\bar x)^2。与 β1\beta_1 对应的对角元(按系数下标记为 c11c_{11},即矩阵的 (2,2)(2,2) 元)为

c11=1Lxx,c_{11}=\frac{1}{L_{xx}},

于是 T1=(β^1−β1,0)/(s/Lxx)T_1=(\hat\beta_1-\beta_{1,0})/(s/\sqrt{L_{xx}}),与一元线性回归的斜率检验一致。多元回归的公式是一元情形的推广,而不是另一套独立结论。

探索

其他变量会怎样影响系数的标准误?

观察解释变量共线时剩余信息与标准误的变化。

正在准备演示…