# 7.1点估计

## 阅读入口

* [点估计](/knowledge/maths/statistics/point-estimation/)
* [估计量的无偏性](/knowledge/maths/statistics/estimator-properties/)

## 估计量与估计值

设 $X_1,\ldots,X_n$ 是来自分布族 $\{F_\theta:\theta\in\Theta\}$ 的独立同分布样本，其中 $\theta$ 未知，$\Theta$ 是参数空间。用来估计 $\theta$ 的统计量

$$
\hat\theta=\hat\theta(X_1,\ldots,X_n)
$$

称为**估计量**。统计量只由样本确定，不能含有未知参数；因此估计量在抽样前是随机变量。把一组观测值 $x_1,\ldots,x_n$ 代入后得到的数值 $\hat\theta(x_1,\ldots,x_n)$ 称为**估计值**，它是一个确定的数。

点估计只给出一个数值；区间估计给出一个带有覆盖水平的区间。同一个参数可以用不同方法构造估计量，得到的结果可能不同，因此还需要用无偏性、均方误差和相合性等标准评价，见[估计量的无偏性](/knowledge/maths/statistics/estimator-properties/)。

常用构造方法包括[矩估计](/knowledge/maths/statistics/moment-estimation/)和[最大似然估计](/knowledge/maths/statistics/maximum-likelihood/)。

[来源：点估计](/knowledge/maths/statistics/point-estimation/#definition)

答案里 $\hat\theta$ 指估计量、$\hat\theta(x_1,\ldots,x_n)$ 指代入数据后的估计值，两条构造路线都先产出前者。

## 矩估计

记样本的 $k$ 阶原点矩为

$$
A_k=\frac1n\sum_{i=1}^nX_i^k,
$$

总体的 $k$ 阶原点矩为 $\mu_k(\theta)=E_\theta(X^k)$。矩估计法用样本矩代替总体矩，令

$$
E_\theta(X^k)=A_k,\qquad k=1,\ldots,r,
$$

其中 $r$ 是待估参数的个数，通常使用前 $r$ 阶矩。解这个方程组，把解记为 $\hat\theta_{\mathrm{MM}}$，就得到矩估计量。

使用矩估计法时要检查三件事：相应的总体矩存在；方程能够识别参数，即不同的参数值不会给出完全相同的矩；解落在参数空间 $\Theta$ 内。方程组可能有多个解，也可能没有符合要求的解；出现这些情况时，不能不加说明地把某一个解当作矩估计。

[来源：矩估计](/knowledge/maths/statistics/moment-estimation/#definition)

### 例子

**正态总体两个参数未知**

设 $X_1,\ldots,X_n$ 独立同分布于 $N(\mu,\sigma^2)$，$\mu$ 与 $\sigma^2$ 都未知。由

$$
E(X)=\mu,\qquad E(X^2)=\mu^2+\sigma^2
$$

令它们分别等于 $A_1=\bar X$ 与 $A_2=\frac1n\sum_iX_i^2$，解得

$$
\hat\mu=\bar X,\qquad
\hat\sigma^2=\frac1n\sum_{i=1}^n(X_i-\bar X)^2.
$$

这里方差估计的分母是 $n$，不是无偏样本方差所用的 $n-1$。矩估计不自动保证无偏，分母的差别正是评价估计量时要检查的地方。

**均匀分布 $U[0,\theta]$ 的矩估计**

设 $X_1,\ldots,X_n$ 独立同分布于 $U[0,\theta]$，$\theta>0$。由 $E(X)=\theta/2$ 得矩估计

$$
\hat\theta_{\mathrm{MM}}=2\bar X.
$$

这个估计量可能小于样本最大值 $X_{(n)}$。一旦出现这种情况，估计值所对应的模型区间 $[0,\hat\theta_{\mathrm{MM}}]$ 就容不下已经观测到的样本，说明矩估计并不会自动满足参数与样本支持的约束。

[来源：矩估计](/knowledge/maths/statistics/moment-estimation/#examples)

正态方差的矩估计分母是 $n$，均匀分布的矩估计可能小于样本最大值，这两个结果正好对应本课程常考的两个边界。做练习时先算 $A_1$，再判断是否需要二阶矩。

## 最大似然估计

设样本的联合概率密度或概率质量函数为 $f(x_1,\ldots,x_n;\theta)$。对独立同分布样本，它等于各观测值密度的乘积。把观测值 $x_1,\ldots,x_n$ 视为固定，定义**似然函数**

$$
L(\theta)=\prod_{i=1}^n f(x_i;\theta).
$$

离散型把 $f(x_i;\theta)$ 换成概率质量函数 $P\{X=x_i;\theta\}$。使 $L(\theta)$ 达到最大的参数值称为 $\theta$ 的**最大似然估计**，记作 $\hat\theta_{\mathrm{ML}}$。最大似然估计把“哪个参数值最能解释已经看到的样本”作为选择标准。

1. **写出完整似然**

   写出 $L(\theta)$，并把与参数有关的支持范围一并写清。例如均匀分布的似然只在 $\theta$ 不小于样本最大值时为正。

2. **取对数**

   在 $L(\theta)>0$ 的范围内取对数

   $$
   \ell(\theta)=\ln L(\theta)=\sum_{i=1}^n\ln f(x_i;\theta).
   $$

   对数把乘积变成求和，便于求导，也不会改变最大值的位置。

3. **解似然方程**

   解 $\ell'(\theta)=0$；有多个参数时解偏导方程组。得到的解只是候选点。

4. **检查边界和全局最大值**

   比较候选点、参数边界以及支持范围的端点，确认是否真的取得全局最大值。若最大值只在参数空间的边界或极限处取得，要检查该点是否属于参数空间；不属于时最大似然估计不存在。

> [!WARNING]
> **导数为零只是候选条件**
>
> 最大值可能在参数空间的边界，也可能没有有限的最大值解。对均匀分布这类支持范围依赖参数的模型，尤其要先看边界，不能只解似然方程。

[来源：最大似然估计](/knowledge/maths/statistics/maximum-likelihood/#definition)

指数分布与正态分布的结果可以直接引用；均匀分布则改用端点比较。

## 学习安排

本节先区分估计量与估计值，再给出矩估计与最大似然估计两条构造路线。矩估计从总体矩与样本矩相等出发；最大似然估计先写出完整似然，再在对数尺度上求最大值。两条路线可能给出相同结果，也可能给出不同估计量，所以得到结果后还要回到评价标准检查。

复习时先写清参数空间和样本支持，再按问题选择求导、端点比较或其他构造方式。

## 课程约定

* 样本记作 $X_1,\ldots,X_n$，默认独立同分布；估计量只由样本构造，不能含未知参数。
* 矩估计按待估参数个数建立方程，通常取前 $r$ 阶矩；正态总体方差的矩估计分母为 $n$，与无偏样本方差的 $n-1$ 不同。
* 最大似然估计的对数似然用 $\ln$；离散型把密度换成概率质量函数。
* 均匀分布按教材采用含端点的密度版本处理；若采用开区间版本，边界处只有上确界，需要单独说明。

## 重点

* 矩估计要检查总体矩存在、方程能识别参数、解落在参数空间内；均匀分布还要检查矩估计是否小于样本最大值。
* 最大似然估计按“完整似然（含支持范围）—取对数—解方程—检查边界与全局最大”执行。
* 常用分布的最大似然估计要能直接写出，并说明指数分布率参数与均值估计之间的换算。

## 易错点

> [!WARNING]
> **驻点不是最大值的保证**
>
> 解出似然方程只得到候选点。最大值可能在边界，也可能没有有限解；均匀分布的最大似然估计就落在样本最大值处，不能只靠求导。

> [!CAUTION]
> **最大似然不等于无偏**
>
> 最大似然估计不自动无偏；似然函数是给定样本后关于参数的函数，不是参数的概率密度或后验密度。退化样本（如指数样本全为零、伯努利样本全为零或全为一）还要单独处理边界。

## 复习检查

复习时先问：参数空间是什么，样本支持是什么，似然在哪些参数值上为正？然后再解方程或看边界。均匀分布、指数分布和正态总体方差是检查这三步是否遗漏的常用例子。