# 7.2点估计的评价标准

## 阅读入口

* [估计量的无偏性](/knowledge/maths/statistics/estimator-properties/)
* [估计量的均方误差](/knowledge/maths/statistics/mean-squared-error/)
* [估计量的相合性](/knowledge/maths/statistics/estimator-consistency/)
* [点估计](/knowledge/maths/statistics/point-estimation/)

## 无偏性

设 $\hat\theta$ 是参数 $\theta$ 的估计量，即由样本构造、用于估计 $\theta$ 的统计量；估计量的构造方法见[点估计](/knowledge/maths/statistics/point-estimation/)。若相关期望存在，且对参数空间 $\Theta$ 中的每个 $\theta$ 都满足

$$
E_\theta(\hat\theta)=\theta,
$$

则称 $\hat\theta$ 为 $\theta$ 的**无偏估计量**。否则称它有偏，偏差定义为

$$
\operatorname{Bias}(\hat\theta)=E(\hat\theta)-\theta.
$$

无偏表示在重复抽样下，估计值的平均等于真值；它不表示每一次估计都准确，也不表示无偏估计一定优于所有有偏估计。无偏性是关于估计量抽样分布的性质，不是某一次观测到的估计值的性质。

对独立同分布、方差有限的样本，记

$$
\bar X=\frac1n\sum_{i=1}^nX_i,\qquad
S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,
$$

则

$$
E(\bar X)=\mu,\qquad E(S^2)=\sigma^2.
$$

正态总体方差的最大似然估计是

$$
\hat\sigma^2_{\mathrm{ML}}=\frac{n-1}{n}S^2,
$$

于是

$$
E(\hat\sigma^2_{\mathrm{ML}})
=\frac{n-1}{n}\sigma^2,
$$

所以它是有偏的；乘以 $n/(n-1)$ 后得到的 $S^2$ 才是无偏估计。

[来源：估计量的无偏性](/knowledge/maths/statistics/estimator-properties/#definition)

无偏性只需要求期望，所以7.1的两条构造路线在这里第一次被检验；这一段把 $S^2$ 与 $\hat\sigma^2_{\mathrm{ML}}$ 的对照放在定义之后，作为分母差异的实例。

## 有效性与均方误差

若两个估计量都无偏，方差更小者称为**更有效**。相对效率的比值方向随定义而变，使用时应写明比较顺序和方向。

对一般估计量，常比较**均方误差**：

$$
\operatorname{MSE}(\hat\theta)
=E[(\hat\theta-\theta)^2]
=D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2,
$$

其中 $D(\hat\theta)$ 表示 $\hat\theta$ 的方差，与 $\operatorname{Var}(\hat\theta)$ 含义相同。

**证明**

记 $m=E(\hat\theta)$，则 $\operatorname{Bias}(\hat\theta)=m-\theta$。把 $\hat\theta-\theta$ 拆成 $(\hat\theta-m)+(m-\theta)$：

$$
\begin{aligned}
E[(\hat\theta-\theta)^2]
&=E\left[\bigl((\hat\theta-m)+(m-\theta)\bigr)^2\right]\\
&=E[(\hat\theta-m)^2]
+2(m-\theta)E(\hat\theta-m)
+(m-\theta)^2\\
&=D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2.
\end{aligned}
$$

交叉项中的 $E(\hat\theta-m)=0$，所以交叉项消失。

有偏估计可能用较小的方差换来更低的均方误差，因此不能只按是否无偏作结论。比较不同估计量时，还必须采用同一总体模型和同一损失标准。

> [!WARNING]
> **无偏不等于更优**
>
> 无偏性只排除了系统偏差，没有说明估计值围绕真值的波动有多大。一个方差很大的无偏估计，均方误差可能反而高于某个有偏估计。

**正态总体方差的均方误差**

在正态总体中，$D(S^2)=2\sigma^4/(n-1)$，而 $\hat\sigma^2_{\mathrm{ML}}=\frac{n-1}{n}S^2$，所以

$$
D(\hat\sigma^2_{\mathrm{ML}})
=\left(\frac{n-1}{n}\right)^2\frac{2\sigma^4}{n-1}
=\frac{2(n-1)}{n^2}\sigma^4.
$$

它的偏差为 $-\sigma^2/n$，因此

$$
\operatorname{MSE}(\hat\sigma^2_{\mathrm{ML}})
=\frac{2(n-1)}{n^2}\sigma^4+\frac{\sigma^4}{n^2}
=\frac{2n-1}{n^2}\sigma^4.
$$

这个例子说明，有偏估计的均方误差仍可能具有竞争力；但比较时必须固定总体模型和损失标准，不能把不同模型下的数值直接放在一起。

[来源：估计量的均方误差](/knowledge/maths/statistics/mean-squared-error/#definition)

有效性只对无偏估计量定义，均方误差则对一般估计量都可用；教材在同一个例子里并列两种比较，答题时先写清用的是哪一个。

## 相合性

设 $\hat\theta_n$ 是基于容量为 $n$ 的样本得到的估计量。若

$$
\hat\theta_n\xrightarrow{P}\theta,
$$

即对任意 $\varepsilon>0$ 都有

$$
\lim_{n\to\infty}P\{|\hat\theta_n-\theta|\ge\varepsilon\}=0,
$$

则称 $\hat\theta_n$ 为 $\theta$ 的**相合估计量**，也称**一致估计量**。相合性描述样本量增大时的表现，不等同于有限样本下的无偏性。

一个常用的充分条件是

$$
E(\hat\theta_n)\to\theta,\qquad D(\hat\theta_n)\to0.
$$

也就是说，偏差和方差都趋于零时，估计量依概率收敛到真值。

**证明**

由切比雪夫不等式，

$$
P\{|\hat\theta_n-\theta|\ge\varepsilon\}
\le\frac{E[(\hat\theta_n-\theta)^2]}{\varepsilon^2}
=\frac{D(\hat\theta_n)+[\operatorname{Bias}(\hat\theta_n)]^2}{\varepsilon^2}.
$$

当 $E(\hat\theta_n)\to\theta$、$D(\hat\theta_n)\to0$ 时，右边趋于 $0$，所以 $\hat\theta_n\xrightarrow{P}\theta$。这也说明均方误差趋于零是相合性的一个充分条件。

独立同分布且均值存在时，由辛钦大数定律，$\bar X_n$ 是总体均值的相合估计。

> [!NOTE]
> **两种评价回答不同问题**
>
> 无偏性看固定样本量下估计量的平均表现，相合性看样本量趋于无穷时的极限行为。一个估计量可以有偏而相合，也可以无偏而不相合；两者不能互相替代。

[来源：估计量的相合性](/knowledge/maths/statistics/estimator-consistency/#definition)

这一段给出的充分条件（偏差与方差都趋于零）是作业里判断相合的主要工具，定义本身只用于概念题。

## 学习安排

估计量评价按无偏性、有效性与均方误差、相合性三项展开。复习时先求期望判断无偏，再比较方差或均方误差，最后检查样本量增大时的依概率收敛。

## 课程约定

* 本课程用 $D(\cdot)$ 表示方差；$S^2$ 采用分母 $n-1$ 的样本方差。
* 有效性通常先要求两个估计量都无偏，再比较方差；相对效率的比值方向随定义而变，答题时写明比较顺序和方向。
* 均方误差的比较必须固定总体模型和损失标准；正态总体方差的最大似然估计分母为 $n$，$S^2$ 分母为 $n-1$。

## 重点

* 无偏性看期望，有效性看方差，相合性看 $n\to\infty$ 时的依概率收敛；三者回答的问题不同。
* 均匀总体最大值 $X_{(n)}$ 的期望、方差、偏差修正和相合性，是本章把三项标准串起来的综合例。
* 比较估计量时先说明前提：是否无偏、是否同一模型、采用方差还是均方误差。

## 易错点

> [!WARNING]
> **无偏不等于更优**
>
> 无偏只说明重复抽样的平均正确，不说明每次估计都准确，也不说明均方误差更小。有偏估计可能用较小方差换来更低的均方误差。

> [!NOTE]
> **相合性是极限性质**
>
> 相合性描述样本量增大时的行为，不是固定样本量下的精度。有偏估计也可能相合；判断时不要把它和有限样本无偏性混在一起。

## 复习要点

复习顺序固定为：先求期望判断无偏，再求方差或均方误差比较精度，最后检查依概率收敛判断相合。均匀总体最大值的修正要同时说明“为什么有偏”和“为什么仍相合”。