课程笔记

6.2抽样分布

阅读入口

上侧分位点

设 0<α<10<\alpha<1。对随机变量 WW,若 wαw_\alpha 满足

P{W>wα}=α,P\{W>w_\alpha\}=\alpha,

则称 wαw_\alpha 为 WW 的上 α\alpha 分位点:它右侧的尾概率恰为 α\alpha。本页用到的四个记号是

P{Z>zα}=α,P{T>tα(ν)}=α,P\{Z>z_\alpha\}=\alpha,\qquad P\{T>t_\alpha(\nu)\}=\alpha,P{U>χα2(ν)}=α,P{V>Fα(ν1,ν2)}=α,P\{U>\chi^2_\alpha(\nu)\}=\alpha,\qquad P\{V>F_\alpha(\nu_1,\nu_2)\}=\alpha,

其中 Z∼N(0,1)Z\sim N(0,1),T∼t(ν)T\sim t(\nu),U∼χ2(ν)U\sim\chi^2(\nu),V∼F(ν1,ν2)V\sim F(\nu_1,\nu_2)。α\alpha 越小,上侧分位点越大,因为要让右侧只剩更小的概率,分位点必须往右移。

双侧区间估计通常把显著性水平分到两侧,各占 α/2\alpha/2 的尾概率,于是用到 zα/2z_{\alpha/2} 与 z1−α/2z_{1-\alpha/2} 这样的两个点。

对关于零对称的分布,上侧分位点可以直接换成负号:

z1−α=−zα,t1−α(ν)=−tα(ν).z_{1-\alpha}=-z_\alpha,\qquad t_{1-\alpha}(\nu)=-t_\alpha(\nu).

例如 z0.975=−z0.025z_{0.975}=-z_{0.025},因为标准正态的密度关于零对称。

这一段的记号贯穿6.2到9.3的查表,跨章引用时不必重新定义;答题时先把用到的分位点写下来再读数。

三种抽样分布

设 Z1,Z2,…,ZνZ_1,Z_2,\ldots,Z_\nu 相互独立,且都服从 N(0,1)N(0,1),则

U=∑i=1νZi2∼χ2(ν),U=\sum_{i=1}^{\nu}Z_i^2\sim\chi^2(\nu),

其中 ν\nu 称为自由度。它的数字特征为

E(U)=ν,D(U)=2ν.E(U)=\nu,\qquad D(U)=2\nu.

这两个式子来自单个标准正态变量:E(Zi2)=D(Zi)=1E(Z_i^2)=D(Z_i)=1,而

D(Zi2)=E(Zi4)−[E(Zi2)]2=3−1=2,D(Z_i^2)=E(Z_i^4)-\bigl[E(Z_i^2)\bigr]^2=3-1=2,

再由独立性把 ν\nu 项相加。

卡方分布只在 [0,+∞)[0,+\infty) 上取值,通常不对称,右尾较长。相互独立的卡方变量可以相加,自由度也相加:若 U1∼χ2(ν1)U_1\sim\chi^2(\nu_1) 与 U2∼χ2(ν2)U_2\sim\chi^2(\nu_2) 独立,则 U1+U2∼χ2(ν1+ν2)U_1+U_2\sim\chi^2(\nu_1+\nu_2)。这里独立性不能省。

设 Z∼N(0,1)Z\sim N(0,1),U∼χ2(ν)U\sim\chi^2(\nu),且 ZZ 与 UU 相互独立,则

T=ZU/ν∼t(ν).T=\frac{Z}{\sqrt{U/\nu}}\sim t(\nu).

tt 分布的密度关于零对称,所以 t1−α(ν)=−tα(ν)t_{1-\alpha}(\nu)=-t_\alpha(\nu);自由度增大时它趋近于标准正态,通常 ν>30\nu>30 就可用正态近似。

它的矩要按自由度分别讨论:

  • ν>1\nu>1 时 E(T)=0E(T)=0;
  • ν>2\nu>2 时 D(T)=νν−2D(T)=\dfrac{\nu}{\nu-2};
  • ν≤1\nu\le1 时期望不存在,ν=1\nu=1 的 tt 分布就是柯西分布;
  • 1<ν≤21<\nu\le2 时期望存在但方差不存在。

所以小自由度时不能套用不存在的矩,写 D(T)=ν/(ν−2)D(T)=\nu/(\nu-2) 之前先确认 ν>2\nu>2。

设 U∼χ2(ν1)U\sim\chi^2(\nu_1),V∼χ2(ν2)V\sim\chi^2(\nu_2),其中 χ2(ν)\chi^2(\nu) 表示自由度为 ν\nu 的卡方分布,且两者相互独立,则

F=U/ν1V/ν2∼F(ν1,ν2).F=\frac{U/\nu_1}{V/\nu_2}\sim F(\nu_1,\nu_2).

FF 分布只在非负半轴取值,一般不对称。

它有以下两条常用性质:

1F∼F(ν2,ν1),Fα(ν1,ν2)=1F1−α(ν2,ν1).\frac1F\sim F(\nu_2,\nu_1),\qquad F_\alpha(\nu_1,\nu_2)=\frac{1}{F_{1-\alpha}(\nu_2,\nu_1)}.

这里 Fα(ν1,ν2)F_\alpha(\nu_1,\nu_2) 表示右侧尾概率为 α\alpha 的上侧分位点,一般约定见上侧分位点。交换自由度时,原分布的 (1−α)(1-\alpha) 分位点要对应交换后的 α\alpha 分位点。

分子与分母的自由度顺序不能交换:F(ν1,ν2)F(\nu_1,\nu_2) 与 F(ν2,ν1)F(\nu_2,\nu_1) 是两个不同的分布。

还有一个与 tt 分布的联系:若 T∼t(ν)T\sim t(\nu),则

T2∼F(1,ν).T^2\sim F(1,\nu).

三种分布在这一段先建立“由什么构造”,再整理最常用的互换关系与尾部定位。更完整的密度和数字特征见常用分布与统计公式速查;做题时先按构造和自由度顺序辨认分布。

单个正态总体的精确结论

单个正态总体

设 X1,…,XnX_1,\ldots,X_n 是来自 N(μ,σ2)N(\mu,\sigma^2) 的简单随机样本(样本与统计量的记号见简单随机样本与统计量),n≥2n\ge2,则

Xˉ∼N(μ,σ2n),(n−1)S2σ2∼χ2(n−1),\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right),\qquad \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1),

并且 Xˉ\bar X 与 S2S^2 相互独立,于是

Xˉ−μS/n∼t(n−1).\frac{\bar X-\mu}{S/\sqrt n}\sim t(n-1).
证明

令 Zi=Xi−μσZ_i=\dfrac{X_i-\mu}{\sigma},则 Z1,…,ZnZ_1,\ldots,Z_n 相互独立,都服从 N(0,1)N(0,1)。取一个 nn 阶正交矩阵 AA,使其第一行为 (1n,…,1n)\left(\frac1{\sqrt n},\ldots,\frac1{\sqrt n}\right),并令 Y=AZY=AZ。

正交变换保持平方和,也把独立标准正态变量变成独立标准正态变量,所以 Y1,…,YnY_1,\ldots,Y_n 仍相互独立且都服从 N(0,1)N(0,1)。其中

Y1=1n∑i=1nZi=n Zˉ,Y_1=\frac1{\sqrt n}\sum_{i=1}^nZ_i=\sqrt n\,\bar Z,

而平方和满足

∑i=1nYi2=∑i=1nZi2=∑i=1n(Xi−μ)2σ2.\sum_{i=1}^nY_i^2=\sum_{i=1}^nZ_i^2 =\sum_{i=1}^n\frac{(X_i-\mu)^2}{\sigma^2}.

于是

∑i=2nYi2=∑i=1nZi2−nZˉ2=∑i=1n(Zi−Zˉ)2=(n−1)S2σ2.\sum_{i=2}^nY_i^2=\sum_{i=1}^nZ_i^2-n\bar Z^2 =\sum_{i=1}^n(Z_i-\bar Z)^2 =\frac{(n-1)S^2}{\sigma^2}.

右端是 n−1n-1 个独立标准正态变量的平方和,故服从 χ2(n−1)\chi^2(n-1)。又因 Y1Y_1 与 Y2,…,YnY_2,\ldots,Y_n 独立,Xˉ\bar X(只由 Y1Y_1 决定)与 S2S^2(只由 Y2,…,YnY_2,\ldots,Y_n 决定)也相互独立。

最后把 tt 分布的定义套用上去。记

Z=Xˉ−μσ/n,U=(n−1)S2σ2,Z=\frac{\bar X-\mu}{\sigma/\sqrt n},\qquad U=\frac{(n-1)S^2}{\sigma^2},

则 Z∼N(0,1)Z\sim N(0,1),U∼χ2(n−1)U\sim\chi^2(n-1),且两者独立,而

Xˉ−μS/n=ZU/(n−1).\frac{\bar X-\mu}{S/\sqrt n}=\frac{Z}{\sqrt{U/(n-1)}}.

按 tt 分布的定义,这个比值服从 t(n−1)t(n-1)。

自由度为 n−1n-1,是因为 nn 个离差 Xi−XˉX_i-\bar X 受约束 ∑i(Xi−Xˉ)=0\sum_i(X_i-\bar X)=0 的限制,只有 n−1n-1 个可以自由变动。若把中心改为已知的 μ\mu,就没有这个约束,结论变为

∑i=1n(Xi−μ)2σ2∼χ2(n).\frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma^2}\sim\chi^2(n).

两个独立正态样本

设 X1,…,Xn1X_1,\ldots,X_{n_1} 来自 N(μ1,σ12)N(\mu_1,\sigma_1^2),Y1,…,Yn2Y_1,\ldots,Y_{n_2} 来自 N(μ2,σ22)N(\mu_2,\sigma_2^2),两个样本相互独立。由单个正态总体的结论,两组样本方差各自给出一个卡方变量,二者独立,相除并按自由度归一后得

S12/σ12S22/σ22∼F(n1−1,n2−1).\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1).

若进一步假定两个总体的方差相等,记公共方差为 σ2\sigma^2,则可把两组信息合成合并方差

Sp2=(n1−1)S12+(n2−1)S22n1+n2−2,S_p^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},

它是一个以 σ2\sigma^2 为期望的加权平均,权重是各自的自由度。此时

Xˉ−Yˉ−(μ1−μ2)Sp1n1+1n2∼t(n1+n2−2).\frac{\bar X-\bar Y-(\mu_1-\mu_2)}{S_p\sqrt{\dfrac1{n_1}+\dfrac1{n_2}}}\sim t(n_1+n_2-2).

自由度是两个样本自由度之和 (n1−1)+(n2−1)=n1+n2−2(n_1-1)+(n_2-1)=n_1+n_2-2。

这一段的三条分布结论加上 Xˉ\bar X 与 S2S^2 的独立性,就是7.3与8.2直接引用的全部依据;两样本的 FF 在下一段才出现,引用时要分开。

学习安排

教材在本节先给上侧分位点,再依次引入卡方、t、F三种分布,最后才给出正态总体下的精确结论。这个顺序就是查表顺序:分位点提供查表的语言,三种分布只回答“统计量服从什么”,四条精确结论才是后面区间估计与假设检验直接引用的公式。

复习时把四条精确结论单独抄成一页,每条后面注明三个条件:总体是否正态、σ\sigma 已知还是未知、涉及一个样本还是两个样本。三种分布的定义与性质当作查表工具,不必逐条背。

本节与下一章的分工也要清楚:这里只建立分布,具体在哪种情形下查哪一列、单侧还是双侧,要等区间估计与假设检验的步骤确定之后才知道。

课程约定

  • 教材用“上 α\alpha 分位点”,即右侧尾概率为 α\alpha。部分教材用下侧分位点,查表前先确认表头写的是 P{W>wα}=αP\{W>w_\alpha\}=\alpha。
  • 卡方表、t表、F表只列上侧分位点。χ1−α2\chi^2_{1-\alpha} 要靠累积概率在表中另一侧定位,F1−αF_{1-\alpha} 用倒数关系换算,换算时两个自由度同时交换位置。
  • 自由度统一用 ν\nu 表示;FF 分布写作 F(ν1,ν2)F(\nu_1,\nu_2),分子自由度在前。
  • 正态样本的 tt 统计量为 Xˉ−μS/n\dfrac{\bar X-\mu}{S/\sqrt n},分母使用样本标准差 SS,因此自由度是 n−1n-1。
  • 两个样本的均值差用 Sp2S_p^2 表示合并方差,自由度是 n1+n2−2n_1+n_2-2。
  • 每条公式都连同适用条件一起记录。

重点

  • 三种分布的定义都是“标准正态或卡方的组合”,记住构造方式比记密度函数有用:卡方是标准正态平方和,t是标准正态除以卡方根号,F是两个卡方各自除以自由度后的比值。
  • 只有 tt 分布关于零对称,所以 z1−α=−zαz_{1-\alpha}=-z_\alpha 与 t1−α(ν)=−tα(ν)t_{1-\alpha}(\nu)=-t_\alpha(\nu) 可以用;卡方与F都没有这个等式。
  • 正态总体下 Xˉ\bar X 与 S2S^2 独立,这是能把 zz 统计量换成 tt 统计量的关键一步,也是本节唯一需要“正交变换”的论证。
  • 单个正态总体的四条结论对任意 n≥2n\ge2 精确成立,前提是总体正态;大样本近似不等于这里的精确结论。

易错点

  • 交换 FF 的两个自由度,把 F(5,10)F(5,10) 写成 F(10,5)F(10,5);这两个是不同的分布。
  • 总体方差未知时仍用 σ/n\sigma/\sqrt n 查标准正态表,得到偏窄的区间;这时应查 t(n−1)t(n-1)。
  • 在 ν≤2\nu\le2 时使用 D(T)=ν/(ν−2)D(T)=\nu/(\nu-2);ν=2\nu=2 时分母为零,方差根本不存在。
  • 双侧区间把整个 α\alpha 放在一侧,忘记两侧各占 α/2\alpha/2。
  • 把非正态总体下的大样本近似结果当成精确结论,尤其对方差的卡方检验,它对非正态性比较敏感。
  • 认为合并 tt 只看样本量够大就行;它要求两个样本独立、两个总体正态且方差相等。

复习要点

做题前先问三个问题:总体是否假定正态、σ\sigma 是否已知、只有一个样本还是两个样本。三个答案确定之后,统计量和分布才唯一确定,这一步比背公式更值得花时间。

曾经把 (n−1)S2/σ2(n-1)S^2/\sigma^2 的自由度写成 nn,原因是习惯性地把它当成 nn 个平方和。现在先写出 nn,再减掉被均值占用的那一个自由度。

查表时先在表的标题上确认是上侧分位点,再动手找数;遇到 α>0.5\alpha>0.5 的 zz 或 tt 分位点,直接用对称关系换成负号,不要在表外自己插值。