8.4分布拟合检验
阅读入口
卡方统计量与拒绝域
把样本结果划分为 个互斥且完备的类别,第 类的观察频数记为 。原假设下第 类的概率为 ,样本量为 ,则期望频数为
卡方拟合优度统计量定义为
若原假设完全指定了各类概率,并且样本满足大样本近似条件,则
衡量观察频数偏离期望频数的程度: 当且仅当每类都有 , 越大,数据与假设分布越不一致。因此检验只在右尾拒绝:
这里的 是上 分位点,满足 ,记号与上侧分位点一致。
这一段的 与8.2的 统计量形状相似,但自由度来自类别数而不是样本量;先分清这一点再往下读。
自由度与适用条件
参数由样本估计时的自由度
若假设分布中有 个独立参数由同一样本适当估计,在常用正则条件及相应估计方法下,使用近似自由度
例如拟合参数未知的泊松分布通常减去 ;拟合均值、方差均未知的正态分布通常减去 。分组后估计参数的方法应与所用卡方近似相匹配,不能对任意估计方法都无条件套该规则。
-
先确定最终类别数
合并稀疏类别之后,类别数才是参与计算自由度与统计量的 。
-
扣除总频数约束
各类期望频数之和等于 ,这一个约束已经体现在 中。
-
再扣除估计参数数
从 中减去 ,并确认 ;自由度为非正时,这组数据与所选近似不匹配。
分组与期望频数
卡方近似要求期望频数不能过小。入门计算通常要求各组期望频数不小于 ;这是一种常用的保守规则,不是精确的适用性分界。
连续分布需要分组。若组边界为
则第 组的理论概率为
其中 是原假设下的分布函数。尾部不能遗漏:第一组从 到 ,最后一组从 到 。拟合泊松分布时,最后一组常取“ 次及以上”,而不是在最大观察值处截断概率。
稀疏类别可以合理合并;合并后要重新计算期望频数与自由度。若原假设给某类别零概率,而该类别出现正频数,原假设已经与数据直接矛盾,不能计算除以零的项。
分组决定 , 又决定自由度,所以计算的顺序是先合并稀疏类别再算 ;反过来会出现 。
列联表独立性检验
同一套“观察频数对期望频数”的比较也可以检验两个分类变量是否独立。对 列联表,记第 格的观察频数为 ,第 行合计为 ,第 列合计为 ,总频数为 。独立假设下的期望频数为
统计量仍为
仍为右尾检验,并同样检查期望频数是否过小。拟合优度检验的自由度由类别数与所估参数决定;列联表独立性检验的自由度为 ,不要套用 。
列联表与拟合优度共用同一个卡方统计量,只是期望频数由行、列边际算出;教材把两段并排,正是为了对照这一点。
学习安排
教材把拟合优度检验与列联表独立性检验放在同一节,因为两者都在比较观察频数与期望频数。8.1至8.3处理参数假设,这一节转向“分布是否成立”的假设;卡方分布的分位数来自上侧分位点,先确认上侧分位点的记号再读本节。
阅读顺序按教材:先建立卡方统计量与右尾拒绝域,再处理参数由样本估计时的自由度,然后讨论分组与期望频数,最后用公平骰子例题走一遍完整流程,并把方法推广到列联表。
课程约定
- 卡方拟合优度统计量统一记作 ;比较资料时先核对统计量的定义。
- 拒绝域统一写成上侧分位点形式,与第8章其他检验的记号方向保持一致。
- 自由度按“最终类别数减 ,再减估计参数数”的顺序计算,先合并类别再计数。
- 列联表独立性检验单独记自由度 ,不套用拟合优度的 。
重点
- 判断卡方近似是否可用:概率是否完全指定、期望频数是否过小、分组是否覆盖全部取值。
- 参数由样本估计时,自由度减少多少取决于估计了几个独立参数,而不是分布的名称。
- 结论只写到“拒绝”或“不拒绝”,不把不拒绝解释成假设成立。
易错点
- 把“没有发现不公平证据”说成“证明了骰子公平”。
- 连续分布分组时漏掉两端尾部,导致各组理论概率之和不等于 。
- 合并稀疏类别后仍用合并前的类别数和期望频数。
- 拟合泊松分布时在最大观察值处截断,而不是把最后一组写成“ 次及以上”。
复习要点
复习时先默写卡方统计量的构造和右尾拒绝域,再检查自由度的计数顺序;例题重点回看“不拒绝”的表述。