估计量的均方误差

若两个估计量都无偏，方差更小者称为更有效。相对效率的比值方向随定义而变，使用时应写明比较顺序和方向。

对一般估计量，常比较均方误差：

\operatorname{MSE}(\hat\theta) =E[(\hat\theta-\theta)^2] =D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2,

其中 $D(\hat\theta)$ 表示 $\hat\theta$ 的方差，与 $\operatorname{Var}(\hat\theta)$ 含义相同。

证明

记 $m=E(\hat\theta)$ ，则 $\operatorname{Bias}(\hat\theta)=m-\theta$ 。把 $\hat\theta-\theta$ 拆成 $(\hat\theta-m)+(m-\theta)$ ：

\begin{aligned} E[(\hat\theta-\theta)^2] &=E\left[\bigl((\hat\theta-m)+(m-\theta)\bigr)^2\right]\\ &=E[(\hat\theta-m)^2] +2(m-\theta)E(\hat\theta-m) +(m-\theta)^2\\ &=D(\hat\theta)+[\operatorname{Bias}(\hat\theta)]^2. \end{aligned}

交叉项中的 $E(\hat\theta-m)=0$ ，所以交叉项消失。

有偏估计可能用较小的方差换来更低的均方误差，因此不能只按是否无偏作结论。比较不同估计量时，还必须采用同一总体模型和同一损失标准。

正态总体方差的均方误差

在正态总体中， $D(S^2)=2\sigma^4/(n-1)$ ，而 $\hat\sigma^2_{\mathrm{ML}}=\frac{n-1}{n}S^2$ ，所以

D(\hat\sigma^2_{\mathrm{ML}}) =\left(\frac{n-1}{n}\right)^2\frac{2\sigma^4}{n-1} =\frac{2(n-1)}{n^2}\sigma^4.

它的偏差为 $-\sigma^2/n$ ，因此

\operatorname{MSE}(\hat\sigma^2_{\mathrm{ML}}) =\frac{2(n-1)}{n^2}\sigma^4+\frac{\sigma^4}{n^2} =\frac{2n-1}{n^2}\sigma^4.

这个例子说明，有偏估计的均方误差仍可能具有竞争力；但比较时必须固定总体模型和损失标准，不能把不同模型下的数值直接放在一起。

定义