课程笔记

9.1单因素方差分析

模型与假设

设有 kk 个总体,分别对应因素的 kk 个水平。从第 ii 个总体抽取 nin_i 个观测,单因素固定效应模型写作

Xij=μi+εij,i=1,…,k,j=1,…,ni,X_{ij}=\mu_i+\varepsilon_{ij},\qquad i=1,\ldots,k,\quad j=1,\ldots,n_i,

其中 μi\mu_i 是第 ii 组的总体均值,εij\varepsilon_{ij} 是随机误差。总样本量 N=∑i=1kniN=\sum_{i=1}^kn_i,并要求 k≥2k\ge2、N>kN>k。

经典精确 FF 检验要求:

  • 各组误差相互独立;
  • εij∼N(0,σ2)\varepsilon_{ij}\sim N(0,\sigma^2),即各组都服从正态分布;
  • 各组方差相等,共用同一个 σ2\sigma^2。

要检验的假设是

H0:μ1=⋯=μk,H1:至少有两个总体均值不同.H_0:\mu_1=\cdots=\mu_k,\qquad H_1:\text{至少有两个总体均值不同}.

也可以把组均值写成

μi=μ+αi,∑i=1kniαi=0,\mu_i=\mu+\alpha_i,\qquad \sum_{i=1}^kn_i\alpha_i=0,

其中 μ\mu 是加权总均值,αi\alpha_i 是第 ii 组的效应,原假设等价于所有 αi=0\alpha_i=0。后文记组均值和总均值分别为

Xˉi⋅=1ni∑j=1niXij,Xˉ⋅⋅=1N∑i=1k∑j=1niXij.\bar X_{i\cdot}=\frac1{n_i}\sum_{j=1}^{n_i}X_{ij},\qquad \bar X_{\cdot\cdot}=\frac1N\sum_{i=1}^k\sum_{j=1}^{n_i}X_{ij}.

平方和分解与检验

平方和分解

总平方和、组间平方和与组内平方和分别定义为

ST=∑i=1k∑j=1ni(Xij−Xˉ⋅⋅)2,S_T=\sum_{i=1}^k\sum_{j=1}^{n_i}(X_{ij}-\bar X_{\cdot\cdot})^2,SA=∑i=1kni(Xˉi⋅−Xˉ⋅⋅)2,SE=∑i=1k∑j=1ni(Xij−Xˉi⋅)2.S_A=\sum_{i=1}^kn_i(\bar X_{i\cdot}-\bar X_{\cdot\cdot})^2, \qquad S_E=\sum_{i=1}^k\sum_{j=1}^{n_i}(X_{ij}-\bar X_{i\cdot})^2.

三者满足平方和分解

ST=SA+SE.S_T=S_A+S_E.
证明

把每个观测相对总均值的离差拆成“相对组均值”与“组均值相对总均值”两部分:

Xij−Xˉ⋅⋅=(Xij−Xˉi⋅)+(Xˉi⋅−Xˉ⋅⋅).X_{ij}-\bar X_{\cdot\cdot} =(X_{ij}-\bar X_{i\cdot})+(\bar X_{i\cdot}-\bar X_{\cdot\cdot}).

平方后对 jj 求和,交叉项为

2(Xˉi⋅−Xˉ⋅⋅)∑j=1ni(Xij−Xˉi⋅)=0,2(\bar X_{i\cdot}-\bar X_{\cdot\cdot}) \sum_{j=1}^{n_i}(X_{ij}-\bar X_{i\cdot})=0,

因为组内离差之和为零。于是对 ii 求和得到

∑i,j(Xij−Xˉ⋅⋅)2=∑i,j(Xij−Xˉi⋅)2+∑ini(Xˉi⋅−Xˉ⋅⋅)2,\sum_{i,j}(X_{ij}-\bar X_{\cdot\cdot})^2 =\sum_{i,j}(X_{ij}-\bar X_{i\cdot})^2 +\sum_i n_i(\bar X_{i\cdot}-\bar X_{\cdot\cdot})^2,

即 ST=SA+SES_T=S_A+S_E。

实际计算可用

ST=∑i,jXij2−NXˉ⋅⋅2,SA=∑iniXˉi⋅2−NXˉ⋅⋅2.S_T=\sum_{i,j}X_{ij}^2-N\bar X_{\cdot\cdot}^2, \qquad S_A=\sum_i n_i\bar X_{i\cdot}^2-N\bar X_{\cdot\cdot}^2.

若已经算出各组样本方差 Si2S_i^2,则

SE=∑i=1k(ni−1)Si2.S_E=\sum_{i=1}^k(n_i-1)S_i^2.

各组样本量不等时,总均值要按 nin_i 加权,不能把组均值简单平均。自由度也同样分解:

N−1=(k−1)+(N−k).N-1=(k-1)+(N-k).

方差分析表与F检验

把平方和除以对应自由度得到均方,列成方差分析表:

变异来源平方和自由度均方FF 统计量
组间(因素)SAS_Ak−1k-1MSA=SA/(k−1)MS_A=S_A/(k-1)F=MSA/MSEF=MS_A/MS_E
组内(误差)SES_EN−kN-kMSE=SE/(N−k)MS_E=S_E/(N-k)
总计STS_TN−1N-1

在 H0H_0 下,

F=MSAMSE∼F(k−1,N−k).F=\frac{MS_A}{MS_E}\sim F(k-1,N-k).

若

F>Fα(k−1,N−k),F>F_\alpha(k-1,N-k),

则拒绝各组均值相等。Fα(ν1,ν2)F_\alpha(\nu_1,\nu_2) 是上 α\alpha 分位点,记号与上侧分位点一致。

尽管均值差异可正可负,方差分析始终用右尾:差异被平方后反映为组间均方增大,FF 过大才说明组间变异相对组内误差过大。

MSE=SE/(N−k)MS_E=S_E/(N-k) 是共同误差方差 σ2\sigma^2 的无偏估计;SE/NS_E/N 不是。FF 接近 11 表示组间均方与组内均方相近;是否拒绝原假设仍要结合自由度与显著性水平判断。

使用与判断

  • 多次做两样本 tt 检验可能使整体误拒绝风险增加,不能替代整体 FF 检验。
  • 方差分析的目标是比较均值,名称来自用方差比检验均值差异。
  • MSEMS_E 是共同误差方差 σ2\sigma^2 的无偏估计,不是 SE/NS_E/N。
  • 残差图可辅助检查方差不齐与异常值;独立性还依赖试验设计,不能只凭正态概率图判断。
  • 两组时,经典等方差单因素 FF 检验与合并方差双侧 tt 检验满足 F=T2F=T^2。

组间和组内平方和的自由度分别为 k−1k-1 和 N−kN-k。先将平方和除以自由度,再比较两个均方;与两个总体的方差比检验使用相同的分布族,但自由度来自不同的模型。

拒绝总体均值都相等的假设,只能说明至少有两个总体均值不同。确定具体哪些组有差异需要进一步比较,并控制多重比较带来的误拒绝风险。