课程笔记

8.4分布拟合检验

阅读入口

卡方统计量与拒绝域

把样本结果划分为 kk 个互斥且完备的类别,第 ii 类的观察频数记为 OiO_i。原假设下第 ii 类的概率为 pip_i,样本量为 nn,则期望频数为

Ei=npi,∑i=1kOi=n,∑i=1kpi=1.E_i=np_i,\qquad \sum_{i=1}^kO_i=n,\qquad \sum_{i=1}^kp_i=1.

卡方拟合优度统计量定义为

Q=∑i=1k(Oi−Ei)2Ei.Q=\sum_{i=1}^k\frac{(O_i-E_i)^2}{E_i}.

若原假设完全指定了各类概率,并且样本满足大样本近似条件,则

Q≈χ2(k−1).Q\approx\chi^2(k-1).

QQ 衡量观察频数偏离期望频数的程度:Q=0Q=0 当且仅当每类都有 Oi=EiO_i=E_i,QQ 越大,数据与假设分布越不一致。因此检验只在右尾拒绝:

Q>χα2(k−1).Q>\chi^2_\alpha(k-1).

这里的 χα2(ν)\chi^2_\alpha(\nu) 是上 α\alpha 分位点,满足 P{χ2(ν)>χα2(ν)}=αP\{\chi^2(\nu)>\chi^2_\alpha(\nu)\}=\alpha,记号与上侧分位点一致。

这一段的 QQ 与8.2的 χ2\chi^2 统计量形状相似,但自由度来自类别数而不是样本量;先分清这一点再往下读。

自由度与适用条件

参数由样本估计时的自由度

若假设分布中有 rr 个独立参数由同一样本适当估计,在常用正则条件及相应估计方法下,使用近似自由度

ν=k−1−r.\nu=k-1-r.

例如拟合参数未知的泊松分布通常减去 11;拟合均值、方差均未知的正态分布通常减去 22。分组后估计参数的方法应与所用卡方近似相匹配,不能对任意估计方法都无条件套该规则。

  1. 先确定最终类别数

    合并稀疏类别之后,类别数才是参与计算自由度与统计量的 kk。

  2. 扣除总频数约束

    各类期望频数之和等于 nn,这一个约束已经体现在 k−1k-1 中。

  3. 再扣除估计参数数

    从 k−1k-1 中减去 rr,并确认 ν>0\nu>0;自由度为非正时,这组数据与所选近似不匹配。

分组与期望频数

卡方近似要求期望频数不能过小。入门计算通常要求各组期望频数不小于 55;这是一种常用的保守规则,不是精确的适用性分界。

连续分布需要分组。若组边界为

a0=−∞<a1<⋯<ak=+∞,a_0=-\infty<a_1<\cdots<a_k=+\infty,

则第 ii 组的理论概率为

pi=F(ai)−F(ai−1),p_i=F(a_i)-F(a_{i-1}),

其中 FF 是原假设下的分布函数。尾部不能遗漏:第一组从 −∞-\infty 到 a1a_1,最后一组从 ak−1a_{k-1} 到 +∞+\infty。拟合泊松分布时,最后一组常取“mm 次及以上”,而不是在最大观察值处截断概率。

稀疏类别可以合理合并;合并后要重新计算期望频数与自由度。若原假设给某类别零概率,而该类别出现正频数,原假设已经与数据直接矛盾,不能计算除以零的项。

分组决定 kk,kk 又决定自由度,所以计算的顺序是先合并稀疏类别再算 QQ;反过来会出现 ν≤0\nu\le0。

列联表独立性检验

同一套“观察频数对期望频数”的比较也可以检验两个分类变量是否独立。对 r×cr\times c 列联表,记第 (i,j)(i,j) 格的观察频数为 OijO_{ij},第 ii 行合计为 Oi⋅O_{i\cdot},第 jj 列合计为 O⋅jO_{\cdot j},总频数为 nn。独立假设下的期望频数为

Eij=Oi⋅O⋅jn,E_{ij}=\frac{O_{i\cdot}O_{\cdot j}}{n},

统计量仍为

Q=∑i,j(Oij−Eij)2Eij≈χ2((r−1)(c−1)).Q=\sum_{i,j}\frac{(O_{ij}-E_{ij})^2}{E_{ij}}\approx\chi^2((r-1)(c-1)).

仍为右尾检验,并同样检查期望频数是否过小。拟合优度检验的自由度由类别数与所估参数决定;列联表独立性检验的自由度为 (r−1)(c−1)(r-1)(c-1),不要套用 k−1−rk-1-r。

列联表与拟合优度共用同一个卡方统计量,只是期望频数由行、列边际算出;教材把两段并排,正是为了对照这一点。

学习安排

教材把拟合优度检验与列联表独立性检验放在同一节,因为两者都在比较观察频数与期望频数。8.1至8.3处理参数假设,这一节转向“分布是否成立”的假设;卡方分布的分位数来自上侧分位点,先确认上侧分位点的记号再读本节。

阅读顺序按教材:先建立卡方统计量与右尾拒绝域,再处理参数由样本估计时的自由度,然后讨论分组与期望频数,最后用公平骰子例题走一遍完整流程,并把方法推广到列联表。

课程约定

  • 卡方拟合优度统计量统一记作 QQ;比较资料时先核对统计量的定义。
  • 拒绝域统一写成上侧分位点形式,与第8章其他检验的记号方向保持一致。
  • 自由度按“最终类别数减 11,再减估计参数数”的顺序计算,先合并类别再计数。
  • 列联表独立性检验单独记自由度 (r−1)(c−1)(r-1)(c-1),不套用拟合优度的 k−1−rk-1-r。

重点

  • 判断卡方近似是否可用:概率是否完全指定、期望频数是否过小、分组是否覆盖全部取值。
  • 参数由样本估计时,自由度减少多少取决于估计了几个独立参数,而不是分布的名称。
  • 结论只写到“拒绝”或“不拒绝”,不把不拒绝解释成假设成立。

易错点

  • 把“没有发现不公平证据”说成“证明了骰子公平”。
  • 连续分布分组时漏掉两端尾部,导致各组理论概率之和不等于 11。
  • 合并稀疏类别后仍用合并前的类别数和期望频数。
  • 拟合泊松分布时在最大观察值处截断,而不是把最后一组写成“mm 次及以上”。

复习要点

复习时先默写卡方统计量的构造和右尾拒绝域,再检查自由度的计数顺序;例题重点回看“不拒绝”的表述。