课程笔记

7.3区间估计

置信区间与枢轴量

设总体分布含未知参数 θ∈Θ\theta\in\Theta,X=(X1,…,Xn)X=(X_1,\ldots,X_n) 是来自该分布的简单随机样本(独立同分布),L(X)L(X) 与 U(X)U(X) 是统计量且 L(X)≤U(X)L(X)\le U(X)。若对每个 θ∈Θ\theta\in\Theta 都有

Pθ{L(X)≤θ≤U(X)}=1−α,P_\theta\{L(X)\le\theta\le U(X)\}=1-\alpha,

则称随机区间 [L(X),U(X)][L(X),U(X)] 为 θ\theta 的置信水平 1−α1-\alpha(也称置信度)的置信区间,1−α1-\alpha 称为覆盖概率。若只能保证覆盖概率近似等于 1−α1-\alpha,则称为近似置信区间。

这里 θ\theta 固定,随机的是抽样产生的区间。置信水平的含义是:反复使用同一抽样与构造过程,约有 100(1−α)%100(1-\alpha)\% 的区间覆盖真参数。观测到具体区间 [l,u][l,u] 之后,不能再说“θ\theta 以 1−α1-\alpha 的概率落入 [l,u][l,u]”:此时 θ\theta 与端点都已确定,区间要么覆盖它,要么不覆盖。

构造区间通常借助枢轴量:样本与参数的函数 G(X,θ)G(X,\theta),它的分布完全已知,且不依赖任何未知参数(包括 θ\theta 本身)。若

P{a≤G(X,θ)≤b}=1−α,P\{a\le G(X,\theta)\le b\}=1-\alpha,

就把 a≤G(X,θ)≤ba\le G(X,\theta)\le b 当作关于 θ\theta 的不等式解出,得到 θ\theta 的置信区间。a,ba,b 常按两侧各留 α/2\alpha/2 的尾概率选取;同一置信水平下的区间不唯一,等尾取法只是常用选择。统计量与枢轴量的区别见简单随机样本与统计量。

  1. 确定参数与模型

    写清总体分布、样本结构、待估参数,以及哪些量已知。

  2. 选枢轴量

    找分布已知且不含未知参数的 G(X,θ)G(X,\theta),常见的是 zz、tt、χ2\chi^2、FF 型统计量。

  3. 取概率为 1−α1-\alpha 的区间

    双侧按各 α/2\alpha/2 的尾概率取两个分位点;单侧只在一侧留 α\alpha。

  4. 解出参数范围

    把不等式变形为 L(X)≤θ≤U(X)L(X)\le\theta\le U(X),并检查端点顺序。

  5. 说明前提与近似

    正态样本的结论是精确的;Welch近似与大样本区间要写明“近似”。

本节的区间公式采用上侧分位点记号;双侧区间通常在每侧各留 α/2\alpha/2 的尾概率。

总体均值

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

设 X1,…,XnX_1,\ldots,X_n 是来自均值为 μ\mu、方差为 σ2\sigma^2 的总体的简单随机样本,n≥2n\ge2,记

Xˉ=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−Xˉ)2,S=S2.\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,\qquad S=\sqrt{S^2}.

除单侧界一节外,以下使用等尾双侧区间。

正态总体均值

本段假设总体服从 N(μ,σ2)N(\mu,\sigma^2)。

方差 σ2\sigma^2 已知时,Z=Xˉ−μσ/n∼N(0,1)Z=\dfrac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1),由 P{−zα/2≤Z≤zα/2}=1−αP\{-z_{\alpha/2}\le Z\le z_{\alpha/2}\}=1-\alpha 解出

μ∈[Xˉ−zα/2σn, Xˉ+zα/2σn].\mu\in\left[\bar X-z_{\alpha/2}\frac{\sigma}{\sqrt n},\ \bar X+z_{\alpha/2}\frac{\sigma}{\sqrt n}\right].

方差未知时,用 SS 代替 σ\sigma,统计量 T=Xˉ−μS/n∼t(n−1)T=\dfrac{\bar X-\mu}{S/\sqrt n}\sim t(n-1),于是

μ∈[Xˉ−tα/2(n−1)Sn, Xˉ+tα/2(n−1)Sn].\mu\in\left[\bar X-t_{\alpha/2}(n-1)\frac{S}{\sqrt n},\ \bar X+t_{\alpha/2}(n-1)\frac{S}{\sqrt n}\right].

两式的推导相同:先写出枢轴量落在两个分位点之间的概率,再对 μ\mu 解不等式。

大样本近似

对一般总体,只要方差有限、样本量足够大,就可由中心极限定理用

μ∈Xˉ±zα/2Sn\mu\in \bar X\pm z_{\alpha/2}\frac{S}{\sqrt n}

近似,SS 为样本标准差。样本量多大算“足够大”取决于总体的偏斜程度与尾部;总体严重偏斜或样本很小时,这个近似不可靠。

单侧界

单侧问题只需要一个界限。正态总体、方差未知时,由 P{T≤tα(n−1)}=1−αP\{T\le t_\alpha(n-1)\}=1-\alpha 得置信水平 1−α1-\alpha 的置信下限

μL=Xˉ−tα(n−1)Sn,\mu_L=\bar X-t_\alpha(n-1)\frac{S}{\sqrt n},

即 μ∈[μL,+∞)\mu\in[\mu_L,+\infty);同理置信上限为

μU=Xˉ+tα(n−1)Sn,\mu_U=\bar X+t_\alpha(n-1)\frac{S}{\sqrt n},

对应 μ∈(−∞,μU]\mu\in(-\infty,\mu_U]。方差已知时把 tα(n−1)t_\alpha(n-1) 换成 zαz_\alpha。单侧界使用上 α\alpha 分位点,双侧区间使用上 α/2\alpha/2 分位点:1−α1-\alpha 的把握全部放在一侧,尾概率就是 α\alpha,不需要再平分。

样本量

方差已知,要求双侧均值区间的半宽不超过 dd 时,需要

zα/2σn≤d⟹n≥(zα/2σd)2.z_{\alpha/2}\frac{\sigma}{\sqrt n}\le d \quad\Longrightarrow\quad n\ge\left(\frac{z_{\alpha/2}\sigma}{d}\right)^2.

计算结果向上取整:样本量是整数,而条件是“至少”。σ\sigma 未知时只能先用估计值或预调查的 SS 代替,得到的是近似样本量。

正态总体方差

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

设 X1,…,XnX_1,\ldots,X_n 是来自 N(μ,σ2)N(\mu,\sigma^2) 的简单随机样本,n≥2n\ge2,记

Xˉ=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−Xˉ)2,S=S2.\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,\qquad S=\sqrt{S^2}.

以下都是置信水平 1−α1-\alpha 的等尾双侧区间。

均值 μ\mu 未知时,(n−1)S2σ2∼χ2(n−1)\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)。按两侧各留 α/2\alpha/2 得

P{χ1−α/22(n−1)≤(n−1)S2σ2≤χα/22(n−1)}=1−α,P\left\{\chi^2_{1-\alpha/2}(n-1)\le\frac{(n-1)S^2}{\sigma^2}\le\chi^2_{\alpha/2}(n-1)\right\}=1-\alpha,

解出

σ2∈[(n−1)S2χα/22(n−1), (n−1)S2χ1−α/22(n−1)].\sigma^2\in\left[\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right].

端点都为正,所以标准差 σ\sigma 的区间是对两个端点开平方:

σ∈[(n−1)S2χα/22(n−1), (n−1)S2χ1−α/22(n−1)].\sigma\in\left[\sqrt{\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}},\ \sqrt{\frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}}\right].

若均值 μ\mu 已知,则用 ∑i=1n(Xi−μ)2\sum_{i=1}^n(X_i-\mu)^2 代替 (n−1)S2(n-1)S^2,自由度换成 nn:

σ2∈[∑i(Xi−μ)2χα/22(n), ∑i(Xi−μ)2χ1−α/22(n)].\sigma^2\in\left[\frac{\sum_i(X_i-\mu)^2}{\chi^2_{\alpha/2}(n)},\ \frac{\sum_i(X_i-\mu)^2}{\chi^2_{1-\alpha/2}(n)}\right].

两个独立总体的均值差

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

设 X1,…,Xn1X_1,\ldots,X_{n_1} 与 Y1,…,Yn2Y_1,\ldots,Y_{n_2} 分别来自 N(μ1,σ12)N(\mu_1,\sigma_1^2) 与 N(μ2,σ22)N(\mu_2,\sigma_2^2),两个样本相互独立,n1,n2≥2n_1,n_2\ge2,样本均值与样本方差记为

Xˉ, Yˉ, S12, S22,\bar X,\ \bar Y,\ S_1^2,\ S_2^2,

其中 Si2S_i^2 的分母是 ni−1n_i-1。下面把区间写成“中心 ±\pm 半宽”,±\pm 表示闭区间的两个端点。

方差已知

μ1−μ2∈(Xˉ−Yˉ)±zα/2σ12n1+σ22n2.\mu_1-\mu_2\in(\bar X-\bar Y)\pm z_{\alpha/2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}.

均值差:方差未知但相等

令合并方差

Sp2=(n1−1)S12+(n2−1)S22n1+n2−2,S_p^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},

则

μ1−μ2∈(Xˉ−Yˉ)±tα/2(n1+n2−2) Sp1n1+1n2.\mu_1-\mu_2\in(\bar X-\bar Y)\pm t_{\alpha/2}(n_1+n_2-2)\,S_p\sqrt{\frac1{n_1}+\frac1{n_2}}.

合并方差以两组的自由度为权重,自由度相加得 n1+n2−2n_1+n_2-2。

均值差:方差不假定相等

用Welch近似,标准误为 S12n1+S22n2\sqrt{\dfrac{S_1^2}{n_1}+\dfrac{S_2^2}{n_2}},近似自由度为

ν=(S12n1+S22n2)2(S12/n1)2n1−1+(S22/n2)2n2−1,\nu=\frac{\left(\dfrac{S_1^2}{n_1}+\dfrac{S_2^2}{n_2}\right)^2}{\dfrac{(S_1^2/n_1)^2}{n_1-1}+\dfrac{(S_2^2/n_2)^2}{n_2-1}},

μ1−μ2\mu_1-\mu_2 的近似区间为

(Xˉ−Yˉ)±tα/2(ν)S12n1+S22n2.(\bar X-\bar Y)\pm t_{\alpha/2}(\nu)\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}.

ν\nu 由样本估计,通常不是整数。方差不相等时仍套用合并方差公式,会错误地估计标准误,区间不再具有所声称的置信水平。

配对样本

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

同一对象上的两次测量 XiX_i 与 YiY_i 可能相关;将它们化成差值

Di=Xi−Yi,i=1,…,n.D_i=X_i-Y_i,\qquad i=1,\ldots,n.

若各对之间相互独立,且差值服从正态分布,则对 μD=E(D)\mu_D=E(D) 使用单样本 tt 区间:

μD∈Dˉ±tα/2(n−1)SDn,\mu_D\in \bar D\pm t_{\alpha/2}(n-1)\frac{S_D}{\sqrt n},

其中 Dˉ\bar D 与 SDS_D 是差值的样本均值与样本标准差。配对把比较化成单样本差值问题。两次测量相关时,把它们当成两个独立样本会忽略这种相关性,错误估计标准误。

两个正态总体的方差比

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

设 X1,…,Xn1X_1,\ldots,X_{n_1} 与 Y1,…,Yn2Y_1,\ldots,Y_{n_2} 分别来自 N(μ1,σ12)N(\mu_1,\sigma_1^2) 与 N(μ2,σ22)N(\mu_2,\sigma_2^2),两个样本相互独立,n1,n2≥2n_1,n_2\ge2,样本均值与样本方差记为

Xˉ, Yˉ, S12, S22,\bar X,\ \bar Y,\ S_1^2,\ S_2^2,

其中 Si2S_i^2 的分母是 ni−1n_i-1。下面把区间写成“中心 ±\pm 半宽”,±\pm 表示闭区间的两个端点。

由 S12/σ12S22/σ22∼F(n1−1,n2−1)\dfrac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1) 得

σ12σ22∈[S12/S22Fα/2(n1−1,n2−1), S12/S22F1−α/2(n1−1,n2−1)].\frac{\sigma_1^2}{\sigma_2^2}\in\left[\frac{S_1^2/S_2^2}{F_{\alpha/2}(n_1-1,n_2-1)},\ \frac{S_1^2/S_2^2}{F_{1-\alpha/2}(n_1-1,n_2-1)}\right].

这个区间不要求两个总体方差相等,只要求样本独立且都来自正态总体。FF 分布不对称,两个分位点不能交换;F1−α/2F_{1-\alpha/2} 可用 1Fα/2(n2−1,n1−1)\dfrac{1}{F_{\alpha/2}(n_2-1,n_1-1)} 换算,但两个自由度要同时交换位置。

伯努利比例

以下区间以 1−α1-\alpha 为置信水平,分位点采用上侧分位点约定。

设每次独立伯努利试验的成功概率为 pp,NN 为 nn 次试验中的成功次数,p^=N/n\hat p=N/n。常见的大样本Wald区间为

p∈p^±zα/2p^(1−p^)n.p\in\hat p\pm z_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}.

它在小样本或 pp 接近 0,10,1 时覆盖率可能明显低于名义水平,端点还可能越出 [0,1][0,1]。此时应采用Wilson区间或精确二项区间;只把越界端点截断到 [0,1][0,1],并不能恢复覆盖率。

选择方法

先确定目标参数,再区分已知和未知方差、独立样本和配对样本。正态模型下的精确区间要核对自由度;Welch与大样本区间应注明近似。单侧界和双侧区间使用的尾概率不同,方差与方差比的两个分位点也不能交换。