知识点

嵌套回归模型的比较

定义

考虑含截距的多元线性回归:有 nn 个观测与 pp 个斜率,设计矩阵满列秩,n>p+1n>p+1。假定误差相互独立且服从 N(0,σ2)N(0,\sigma^2),记误差方差估计为 s2=SSE/(n−p−1)s^2=SSE/(n-p-1),并采用上侧分位点。

设完整模型含 pp 个斜率,约束模型是它的特例,对完整模型施加了 qq 个独立约束。例如完整模型含 x1,x2,x3x_1,x_2,x_3,约束模型删去 x3x_3,则 q=1q=1。

记约束模型与完整模型的残差平方和分别为 SSERSSE_R 与 SSEFSSE_F。在约束成立(即 H0H_0)且正态误差下,

F=(SSER−SSEF)/qSSEF/(n−p−1)∼F(q,n−p−1).F=\frac{(SSE_R-SSE_F)/q}{SSE_F/(n-p-1)}\sim F(q,n-p-1).

FF 值较大时拒绝约束,认为被约束的系数提供了显著的解释能力。

比较的两个模型必须使用同一批观测,并且约束模型确实嵌套在完整模型中。增加解释变量后 SSESSE 不会增大,R2R^2 也不会减小,所以不能只看 R2R^2 变大就断定新模型更好;嵌套 FF 检验把新增参数消耗的自由度也计入了比较。

探索

新增变量减少多少残差才有意义?

对照完整模型与约束模型的残差平方和。

正在准备演示…

题集

练习

  1. 在嵌套模型比较中,下列说法正确的是

    题 nested · choice-nested
    参考解答

    嵌套检验要求同一批观测和真正的嵌套关系;增加变量后 SSESSE 不增。R2R^2 变大不足以拒绝约束模型,还要看新增参数是否显著。