Learning Notes.
返回上级
课程笔记

7.2点估计的评价标准

8 分钟阅读

阅读入口

无偏性

设 θ^\hat\theta 是参数 θ\theta 的估计量，即由样本构造、用于估计 θ\theta 的统计量；估计量的构造方法见点估计。若相关期望存在，且对参数空间 Θ\Theta 中的每个 θ\theta 都满足

Eθ(θ^)=θ,E_\theta(\hat\theta)=\theta,

则称 θ^\hat\theta 为 θ\theta 的无偏估计量。否则称它有偏，偏差定义为

Bias⁡(θ^)=E(θ^)−θ.\operatorname{Bias}(\hat\theta)=E(\hat\theta)-\theta.

无偏表示在重复抽样下，估计值的平均等于真值；它不表示每一次估计都准确，也不表示无偏估计一定优于所有有偏估计。无偏性是关于估计量抽样分布的性质，不是某一次观测到的估计值的性质。

对独立同分布、方差有限的样本，记

Xˉ=1n∑i=1nXi,S2=1n−1∑i=1n(Xi−Xˉ)2,\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,

则

E(Xˉ)=μ,E(S2)=σ2.E(\bar X)=\mu,\qquad E(S^2)=\sigma^2.

正态总体方差的最大似然估计是

σ^ML2=n−1nS2,\hat\sigma^2_{\mathrm{ML}}=\frac{n-1}{n}S^2,

于是

E(σ^ML2)=n−1nσ2,E(\hat\sigma^2_{\mathrm{ML}}) =\frac{n-1}{n}\sigma^2,

所以它是有偏的；乘以 n/(n−1)n/(n-1) 后得到的 S2S^2 才是无偏估计。

来源：估计量的无偏性

无偏性只需要求期望，所以7.1的两条构造路线在这里第一次被检验；这一段把 S2S^2 与 σ^ML2\hat\sigma^2_{\mathrm{ML}} 的对照放在定义之后，作为分母差异的实例。

有效性与均方误差

若两个估计量都无偏，方差更小者称为更有效。相对效率的比值方向随定义而变，使用时应写明比较顺序和方向。

对一般估计量，常比较均方误差：

MSE⁡(θ^)=E[(θ^−θ)2]=D(θ^)+[Bias⁡(θ^)]2,\operatorname{MSE}(\hat\theta) =E[(\hat\theta-\theta)^2] =D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2,

其中 D(θ^)D(\hat\theta) 表示 θ^\hat\theta 的方差，与 Var⁡(θ^)\operatorname{Var}(\hat\theta) 含义相同。

证明

记 m=E(θ^)m=E(\hat\theta)，则 Bias⁡(θ^)=m−θ\operatorname{Bias}(\hat\theta)=m-\theta。把 θ^−θ\hat\theta-\theta 拆成 (θ^−m)+(m−θ)(\hat\theta-m)+(m-\theta)：

E[(θ^−θ)2]=E[((θ^−m)+(m−θ))2]=E[(θ^−m)2]+2(m−θ)E(θ^−m)+(m−θ)2=D(θ^)+[Bias⁡(θ^)]2.\begin{aligned} E[(\hat\theta-\theta)^2] &=E\left[\bigl((\hat\theta-m)+(m-\theta)\bigr)^2\right]\\ &=E[(\hat\theta-m)^2] +2(m-\theta)E(\hat\theta-m) +(m-\theta)^2\\ &=D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2. \end{aligned}

交叉项中的 E(θ^−m)=0E(\hat\theta-m)=0，所以交叉项消失。

有偏估计可能用较小的方差换来更低的均方误差，因此不能只按是否无偏作结论。比较不同估计量时，还必须采用同一总体模型和同一损失标准。

正态总体方差的均方误差

在正态总体中，D(S2)=2σ4/(n−1)D(S^2)=2\sigma^4/(n-1)，而 σ^ML2=n−1nS2\hat\sigma^2_{\mathrm{ML}}=\frac{n-1}{n}S^2，所以

D(σ^ML2)=(n−1n)22σ4n−1=2(n−1)n2σ4.D(\hat\sigma^2_{\mathrm{ML}}) =\left(\frac{n-1}{n}\right)^2\frac{2\sigma^4}{n-1} =\frac{2(n-1)}{n^2}\sigma^4.

它的偏差为 −σ2/n-\sigma^2/n，因此

MSE⁡(σ^ML2)=2(n−1)n2σ4+σ4n2=2n−1n2σ4.\operatorname{MSE}(\hat\sigma^2_{\mathrm{ML}}) =\frac{2(n-1)}{n^2}\sigma^4+\frac{\sigma^4}{n^2} =\frac{2n-1}{n^2}\sigma^4.

这个例子说明，有偏估计的均方误差仍可能具有竞争力；但比较时必须固定总体模型和损失标准，不能把不同模型下的数值直接放在一起。

来源：估计量的均方误差

有效性只对无偏估计量定义，均方误差则对一般估计量都可用；教材在同一个例子里并列两种比较，答题时先写清用的是哪一个。

相合性

设 θ^n\hat\theta_n 是基于容量为 nn 的样本得到的估计量。若

θ^n→Pθ,\hat\theta_n\xrightarrow{P}\theta,

即对任意 ε>0\varepsilon>0 都有

lim⁡n→∞P{∣θ^n−θ∣≥ε}=0,\lim_{n\to\infty}P\{|\hat\theta_n-\theta|\ge\varepsilon\}=0,

则称 θ^n\hat\theta_n 为 θ\theta 的相合估计量，也称一致估计量。相合性描述样本量增大时的表现，不等同于有限样本下的无偏性。

一个常用的充分条件是

E(θ^n)→θ,D(θ^n)→0.E(\hat\theta_n)\to\theta,\qquad D(\hat\theta_n)\to0.

也就是说，偏差和方差都趋于零时，估计量依概率收敛到真值。

证明

由切比雪夫不等式，

P{∣θ^n−θ∣≥ε}≤E[(θ^n−θ)2]ε2=D(θ^n)+[Bias⁡(θ^n)]2ε2.P\{|\hat\theta_n-\theta|\ge\varepsilon\} \le\frac{E[(\hat\theta_n-\theta)^2]}{\varepsilon^2} =\frac{D(\hat\theta_n)+[\operatorname{Bias}(\hat\theta_n)]^2}{\varepsilon^2}.

当 E(θ^n)→θE(\hat\theta_n)\to\theta、D(θ^n)→0D(\hat\theta_n)\to0 时，右边趋于 00，所以 θ^n→Pθ\hat\theta_n\xrightarrow{P}\theta。这也说明均方误差趋于零是相合性的一个充分条件。

独立同分布且均值存在时，由辛钦大数定律，Xˉn\bar X_n 是总体均值的相合估计。

来源：估计量的相合性

这一段给出的充分条件（偏差与方差都趋于零）是作业里判断相合的主要工具，定义本身只用于概念题。

学习安排

估计量评价按无偏性、有效性与均方误差、相合性三项展开。复习时先求期望判断无偏，再比较方差或均方误差，最后检查样本量增大时的依概率收敛。

课程约定

  • 本课程用 D(⋅)D(\cdot) 表示方差；S2S^2 采用分母 n−1n-1 的样本方差。
  • 有效性通常先要求两个估计量都无偏，再比较方差；相对效率的比值方向随定义而变，答题时写明比较顺序和方向。
  • 均方误差的比较必须固定总体模型和损失标准；正态总体方差的最大似然估计分母为 nn，S2S^2 分母为 n−1n-1。

重点

  • 无偏性看期望，有效性看方差，相合性看 n→∞n\to\infty 时的依概率收敛；三者回答的问题不同。
  • 均匀总体最大值 X(n)X_{(n)} 的期望、方差、偏差修正和相合性，是本章把三项标准串起来的综合例。
  • 比较估计量时先说明前提：是否无偏、是否同一模型、采用方差还是均方误差。

易错点

复习要点

复习顺序固定为：先求期望判断无偏，再求方差或均方误差比较精度，最后检查依概率收敛判断相合。均匀总体最大值的修正要同时说明“为什么有偏”和“为什么仍相合”。