知识点

单因素方差分析

模型与假设

设有 kk 个总体,分别对应因素的 kk 个水平。从第 ii 个总体抽取 nin_i 个观测,单因素固定效应模型写作

Xij=μi+εij,i=1,…,k,j=1,…,ni,X_{ij}=\mu_i+\varepsilon_{ij},\qquad i=1,\ldots,k,\quad j=1,\ldots,n_i,

其中 μi\mu_i 是第 ii 组的总体均值,εij\varepsilon_{ij} 是随机误差。总样本量 N=∑i=1kniN=\sum_{i=1}^kn_i,并要求 k≥2k\ge2、N>kN>k。

经典精确 FF 检验要求:

  • 各组误差相互独立;
  • εij∼N(0,σ2)\varepsilon_{ij}\sim N(0,\sigma^2),即各组都服从正态分布;
  • 各组方差相等,共用同一个 σ2\sigma^2。

要检验的假设是

H0:μ1=⋯=μk,H1:至少有两个总体均值不同.H_0:\mu_1=\cdots=\mu_k,\qquad H_1:\text{至少有两个总体均值不同}.

也可以把组均值写成

μi=μ+αi,∑i=1kniαi=0,\mu_i=\mu+\alpha_i,\qquad \sum_{i=1}^kn_i\alpha_i=0,

其中 μ\mu 是加权总均值,αi\alpha_i 是第 ii 组的效应,原假设等价于所有 αi=0\alpha_i=0。后文记组均值和总均值分别为

Xˉi⋅=1ni∑j=1niXij,Xˉ⋅⋅=1N∑i=1k∑j=1niXij.\bar X_{i\cdot}=\frac1{n_i}\sum_{j=1}^{n_i}X_{ij},\qquad \bar X_{\cdot\cdot}=\frac1N\sum_{i=1}^k\sum_{j=1}^{n_i}X_{ij}.

性质

平方和分解

总平方和、组间平方和与组内平方和分别定义为

ST=∑i=1k∑j=1ni(Xij−Xˉ⋅⋅)2,S_T=\sum_{i=1}^k\sum_{j=1}^{n_i}(X_{ij}-\bar X_{\cdot\cdot})^2,SA=∑i=1kni(Xˉi⋅−Xˉ⋅⋅)2,SE=∑i=1k∑j=1ni(Xij−Xˉi⋅)2.S_A=\sum_{i=1}^kn_i(\bar X_{i\cdot}-\bar X_{\cdot\cdot})^2, \qquad S_E=\sum_{i=1}^k\sum_{j=1}^{n_i}(X_{ij}-\bar X_{i\cdot})^2.

三者满足平方和分解

ST=SA+SE.S_T=S_A+S_E.
证明

把每个观测相对总均值的离差拆成“相对组均值”与“组均值相对总均值”两部分:

Xij−Xˉ⋅⋅=(Xij−Xˉi⋅)+(Xˉi⋅−Xˉ⋅⋅).X_{ij}-\bar X_{\cdot\cdot} =(X_{ij}-\bar X_{i\cdot})+(\bar X_{i\cdot}-\bar X_{\cdot\cdot}).

平方后对 jj 求和,交叉项为

2(Xˉi⋅−Xˉ⋅⋅)∑j=1ni(Xij−Xˉi⋅)=0,2(\bar X_{i\cdot}-\bar X_{\cdot\cdot}) \sum_{j=1}^{n_i}(X_{ij}-\bar X_{i\cdot})=0,

因为组内离差之和为零。于是对 ii 求和得到

∑i,j(Xij−Xˉ⋅⋅)2=∑i,j(Xij−Xˉi⋅)2+∑ini(Xˉi⋅−Xˉ⋅⋅)2,\sum_{i,j}(X_{ij}-\bar X_{\cdot\cdot})^2 =\sum_{i,j}(X_{ij}-\bar X_{i\cdot})^2 +\sum_i n_i(\bar X_{i\cdot}-\bar X_{\cdot\cdot})^2,

即 ST=SA+SES_T=S_A+S_E。

实际计算可用

ST=∑i,jXij2−NXˉ⋅⋅2,SA=∑iniXˉi⋅2−NXˉ⋅⋅2.S_T=\sum_{i,j}X_{ij}^2-N\bar X_{\cdot\cdot}^2, \qquad S_A=\sum_i n_i\bar X_{i\cdot}^2-N\bar X_{\cdot\cdot}^2.

若已经算出各组样本方差 Si2S_i^2,则

SE=∑i=1k(ni−1)Si2.S_E=\sum_{i=1}^k(n_i-1)S_i^2.

各组样本量不等时,总均值要按 nin_i 加权,不能把组均值简单平均。自由度也同样分解:

N−1=(k−1)+(N−k).N-1=(k-1)+(N-k).

方差分析表与F检验

把平方和除以对应自由度得到均方,列成方差分析表:

变异来源平方和自由度均方FF 统计量
组间(因素)SAS_Ak−1k-1MSA=SA/(k−1)MS_A=S_A/(k-1)F=MSA/MSEF=MS_A/MS_E
组内(误差)SES_EN−kN-kMSE=SE/(N−k)MS_E=S_E/(N-k)
总计STS_TN−1N-1

在 H0H_0 下,

F=MSAMSE∼F(k−1,N−k).F=\frac{MS_A}{MS_E}\sim F(k-1,N-k).

若

F>Fα(k−1,N−k),F>F_\alpha(k-1,N-k),

则拒绝各组均值相等。Fα(ν1,ν2)F_\alpha(\nu_1,\nu_2) 是上 α\alpha 分位点,记号与上侧分位点一致。

尽管均值差异可正可负,方差分析始终用右尾:差异被平方后反映为组间均方增大,FF 过大才说明组间变异相对组内误差过大。

MSE=SE/(N−k)MS_E=S_E/(N-k) 是共同误差方差 σ2\sigma^2 的无偏估计;SE/NS_E/N 不是。FF 接近 11 表示组间均方与组内均方相近;是否拒绝原假设仍要结合自由度与显著性水平判断。

使用与判断

  • 多次做两样本 tt 检验可能使整体误拒绝风险增加,不能替代整体 FF 检验。
  • 方差分析的目标是比较均值,名称来自用方差比检验均值差异。
  • MSEMS_E 是共同误差方差 σ2\sigma^2 的无偏估计,不是 SE/NS_E/N。
  • 残差图可辅助检查方差不齐与异常值;独立性还依赖试验设计,不能只凭正态概率图判断。
  • 两组时,经典等方差单因素 FF 检验与合并方差双侧 tt 检验满足 F=T2F=T^2。

例子

三组各 55 个观测的方差分析

设 k=3k=3,每组 ni=5n_i=5,总样本量 N=15N=15,并已算得

SA=48,SE=24.S_A=48,\qquad S_E=24.

自由度为 k−1=2k-1=2 与 N−k=12N-k=12,均方为

MSA=482=24,MSE=2412=2,MS_A=\frac{48}{2}=24,\qquad MS_E=\frac{24}{12}=2,

所以

F=242=12.F=\frac{24}{2}=12.

取 α=0.05\alpha=0.05,查表得 F0.05(2,12)≈3.885F_{0.05}(2,12)\approx3.885。因为

F=12>3.885,F=12>3.885,

拒绝各组均值相等的原假设。

探索

组间差异如何改变方差比?

移动三组数据的中心,比较组间与组内变异。

正在准备演示…

题集

练习

  1. 四组数据,每组 66 个观测,已算得 SA=90S_A=90,SE=120S_E=120。

    1. 组内均方 MSE=MS_E= 。

      参考解答

      N=24N=24,组内自由度为 24−4=2024-4=20,所以 MSE=120/20=6MS_E=120/20=6。

    2. FF 统计量 F=F= 。

      参考解答

      组间自由度为 4−1=34-1=3,MSA=90/3=30MS_A=90/3=30,于是 F=30/6=5F=30/6=5。

  2. 方差分析拒绝 H0:μ1=⋯=μkH_0:\mu_1=\cdots=\mu_k 后,下列解释正确的是

    题 interpretation · interpretation-choice
    参考解答

    整体检验只回答“各组均值是否不全相等”;两两差异需要控制多重比较;方差分析比较的是均值,不检验方差是否相等。

  3. 关于组内均方 MSEMS_E,下列说法正确的是

    选择答案
    参考解答

    组内平方和除以组内自由度 N−kN-k 才是均方;在等方差模型下它无偏估计共同的 σ2\sigma^2。