Learning Notes.
返回上级
课程笔记

7.1点估计

7 分钟阅读

阅读入口

估计量与估计值

设 X1,…,XnX_1,\ldots,X_n 是来自分布族 {Fθ:θ∈Θ}\{F_\theta:\theta\in\Theta\} 的独立同分布样本，其中 θ\theta 未知，Θ\Theta 是参数空间。用来估计 θ\theta 的统计量

θ^=θ^(X1,…,Xn)\hat\theta=\hat\theta(X_1,\ldots,X_n)

称为估计量。统计量只由样本确定，不能含有未知参数；因此估计量在抽样前是随机变量。把一组观测值 x1,…,xnx_1,\ldots,x_n 代入后得到的数值 θ^(x1,…,xn)\hat\theta(x_1,\ldots,x_n) 称为估计值，它是一个确定的数。

点估计只给出一个数值；区间估计给出一个带有覆盖水平的区间。同一个参数可以用不同方法构造估计量，得到的结果可能不同，因此还需要用无偏性、均方误差和相合性等标准评价，见估计量的无偏性。

常用构造方法包括矩估计和最大似然估计。

来源：点估计

答案里 θ^\hat\theta 指估计量、θ^(x1,…,xn)\hat\theta(x_1,\ldots,x_n) 指代入数据后的估计值，两条构造路线都先产出前者。

矩估计

记样本的 kk 阶原点矩为

Ak=1n∑i=1nXik,A_k=\frac1n\sum_{i=1}^nX_i^k,

总体的 kk 阶原点矩为 μk(θ)=Eθ(Xk)\mu_k(\theta)=E_\theta(X^k)。矩估计法用样本矩代替总体矩，令

Eθ(Xk)=Ak,k=1,…,r,E_\theta(X^k)=A_k,\qquad k=1,\ldots,r,

其中 rr 是待估参数的个数，通常使用前 rr 阶矩。解这个方程组，把解记为 θ^MM\hat\theta_{\mathrm{MM}}，就得到矩估计量。

使用矩估计法时要检查三件事：相应的总体矩存在；方程能够识别参数，即不同的参数值不会给出完全相同的矩；解落在参数空间 Θ\Theta 内。方程组可能有多个解，也可能没有符合要求的解；出现这些情况时，不能不加说明地把某一个解当作矩估计。

来源：矩估计

例子

正态总体两个参数未知

设 X1,…,XnX_1,\ldots,X_n 独立同分布于 N(μ,σ2)N(\mu,\sigma^2)，μ\mu 与 σ2\sigma^2 都未知。由

E(X)=μ,E(X2)=μ2+σ2E(X)=\mu,\qquad E(X^2)=\mu^2+\sigma^2

令它们分别等于 A1=XˉA_1=\bar X 与 A2=1n∑iXi2A_2=\frac1n\sum_iX_i^2，解得

μ^=Xˉ,σ^2=1n∑i=1n(Xi−Xˉ)2.\hat\mu=\bar X,\qquad \hat\sigma^2=\frac1n\sum_{i=1}^n(X_i-\bar X)^2.

这里方差估计的分母是 nn，不是无偏样本方差所用的 n−1n-1。矩估计不自动保证无偏，分母的差别正是评价估计量时要检查的地方。

均匀分布 U[0,θ]U[0,\theta] 的矩估计

设 X1,…,XnX_1,\ldots,X_n 独立同分布于 U[0,θ]U[0,\theta]，θ>0\theta>0。由 E(X)=θ/2E(X)=\theta/2 得矩估计

θ^MM=2Xˉ.\hat\theta_{\mathrm{MM}}=2\bar X.

这个估计量可能小于样本最大值 X(n)X_{(n)}。一旦出现这种情况，估计值所对应的模型区间 [0,θ^MM][0,\hat\theta_{\mathrm{MM}}] 就容不下已经观测到的样本，说明矩估计并不会自动满足参数与样本支持的约束。

来源：矩估计

正态方差的矩估计分母是 nn，均匀分布的矩估计可能小于样本最大值，这两个结果正好对应本课程常考的两个边界。做练习时先算 A1A_1，再判断是否需要二阶矩。

最大似然估计

设样本的联合概率密度或概率质量函数为 f(x1,…,xn;θ)f(x_1,\ldots,x_n;\theta)。对独立同分布样本，它等于各观测值密度的乘积。把观测值 x1,…,xnx_1,\ldots,x_n 视为固定，定义似然函数

L(θ)=∏i=1nf(xi;θ).L(\theta)=\prod_{i=1}^n f(x_i;\theta).

离散型把 f(xi;θ)f(x_i;\theta) 换成概率质量函数 P{X=xi;θ}P\{X=x_i;\theta\}。使 L(θ)L(\theta) 达到最大的参数值称为 θ\theta 的最大似然估计，记作 θ^ML\hat\theta_{\mathrm{ML}}。最大似然估计把“哪个参数值最能解释已经看到的样本”作为选择标准。

  1. 写出完整似然

    写出 L(θ)L(\theta)，并把与参数有关的支持范围一并写清。例如均匀分布的似然只在 θ\theta 不小于样本最大值时为正。

  2. 取对数

    在 L(θ)>0L(\theta)>0 的范围内取对数

    ℓ(θ)=ln⁡L(θ)=∑i=1nln⁡f(xi;θ).\ell(\theta)=\ln L(\theta)=\sum_{i=1}^n\ln f(x_i;\theta).

    对数把乘积变成求和，便于求导，也不会改变最大值的位置。

  3. 解似然方程

    解 ℓ′(θ)=0\ell'(\theta)=0；有多个参数时解偏导方程组。得到的解只是候选点。

  4. 检查边界和全局最大值

    比较候选点、参数边界以及支持范围的端点，确认是否真的取得全局最大值。若最大值只在参数空间的边界或极限处取得，要检查该点是否属于参数空间；不属于时最大似然估计不存在。

来源：最大似然估计

指数分布与正态分布的结果可以直接引用；均匀分布则改用端点比较。

学习安排

本节先区分估计量与估计值，再给出矩估计与最大似然估计两条构造路线。矩估计从总体矩与样本矩相等出发；最大似然估计先写出完整似然，再在对数尺度上求最大值。两条路线可能给出相同结果，也可能给出不同估计量，所以得到结果后还要回到评价标准检查。

复习时先写清参数空间和样本支持，再按问题选择求导、端点比较或其他构造方式。

课程约定

  • 样本记作 X1,…,XnX_1,\ldots,X_n，默认独立同分布；估计量只由样本构造，不能含未知参数。
  • 矩估计按待估参数个数建立方程，通常取前 rr 阶矩；正态总体方差的矩估计分母为 nn，与无偏样本方差的 n−1n-1 不同。
  • 最大似然估计的对数似然用 ln⁡\ln；离散型把密度换成概率质量函数。
  • 均匀分布按教材采用含端点的密度版本处理；若采用开区间版本，边界处只有上确界，需要单独说明。

重点

  • 矩估计要检查总体矩存在、方程能识别参数、解落在参数空间内；均匀分布还要检查矩估计是否小于样本最大值。
  • 最大似然估计按“完整似然（含支持范围）—取对数—解方程—检查边界与全局最大”执行。
  • 常用分布的最大似然估计要能直接写出，并说明指数分布率参数与均值估计之间的换算。

易错点

复习检查

复习时先问：参数空间是什么，样本支持是什么，似然在哪些参数值上为正？然后再解方程或看边界。均匀分布、指数分布和正态总体方差是检查这三步是否遗漏的常用例子。