Learning Notes.
返回上级
知识点

最大似然估计

8 分钟阅读

定义

设样本的联合概率密度或概率质量函数为 f(x1,…,xn;θ)f(x_1,\ldots,x_n;\theta)。对独立同分布样本，它等于各观测值密度的乘积。把观测值 x1,…,xnx_1,\ldots,x_n 视为固定，定义似然函数

L(θ)=∏i=1nf(xi;θ).L(\theta)=\prod_{i=1}^n f(x_i;\theta).

离散型把 f(xi;θ)f(x_i;\theta) 换成概率质量函数 P{X=xi;θ}P\{X=x_i;\theta\}。使 L(θ)L(\theta) 达到最大的参数值称为 θ\theta 的最大似然估计，记作 θ^ML\hat\theta_{\mathrm{ML}}。最大似然估计把“哪个参数值最能解释已经看到的样本”作为选择标准。

  1. 写出完整似然

    写出 L(θ)L(\theta)，并把与参数有关的支持范围一并写清。例如均匀分布的似然只在 θ\theta 不小于样本最大值时为正。

  2. 取对数

    在 L(θ)>0L(\theta)>0 的范围内取对数

    ℓ(θ)=ln⁡L(θ)=∑i=1nln⁡f(xi;θ).\ell(\theta)=\ln L(\theta)=\sum_{i=1}^n\ln f(x_i;\theta).

    对数把乘积变成求和，便于求导，也不会改变最大值的位置。

  3. 解似然方程

    解 ℓ′(θ)=0\ell'(\theta)=0；有多个参数时解偏导方程组。得到的解只是候选点。

  4. 检查边界和全局最大值

    比较候选点、参数边界以及支持范围的端点，确认是否真的取得全局最大值。若最大值只在参数空间的边界或极限处取得，要检查该点是否属于参数空间；不属于时最大似然估计不存在。

性质

常用最大似然估计

下表汇总常见模型在样本非退化时的最大似然估计。表中 Xˉ=1n∑iXi\bar X=\frac1n\sum_iX_i，X(n)X_{(n)} 为样本最大值。

模型参数最大似然估计
B(1,p)B(1,p)ppp^=Xˉ\hat p=\bar X
P(λ)P(\lambda)λ\lambdaλ^=Xˉ\hat\lambda=\bar X
E(λ)E(\lambda)（率参数）λ\lambdaλ^=1/Xˉ\hat\lambda=1/\bar X
N(μ,σ2)N(\mu,\sigma^2)（两参数未知）μ,σ2\mu,\sigma^2μ^=Xˉ\hat\mu=\bar X，σ^2=1n∑i(Xi−Xˉ)2\hat\sigma^2=\frac1n\sum_i(X_i-\bar X)^2
U[0,θ]U[0,\theta]θ\thetaθ^=X(n)\hat\theta=X_{(n)}

表中的公式默认样本落在使似然为正的范围内。指数样本全为零时，E(λ)E(\lambda) 的似然随 λ\lambda 增大而没有有限的最大值点；伯努利样本全为零或全为一时，要按参数空间是否包含端点处理边界估计。

不变性

若 θ^\hat\theta 是 θ\theta 的最大似然估计，则对参数的函数 g(θ)g(\theta)，在按诱导似然理解时，g(θ^)g(\hat\theta) 是 g(θ)g(\theta) 的最大似然估计。这个性质称为最大似然估计的不变性；gg 不必是一一对应的，若对应关系不唯一，g(θ^)g(\hat\theta) 仍是其中一个最大似然估计。

例如指数分布的率参数 λ\lambda 的最大似然估计为 λ^=1/Xˉ\hat\lambda=1/\bar X，而指数分布的均值为 1/λ1/\lambda，由不变性，均值的最大似然估计就是

1λ^=1λ^=Xˉ.\widehat{\frac1\lambda}=\frac1{\hat\lambda}=\bar X.

例子

正态总体两参数的最大似然估计

设 X1,…,XnX_1,\ldots,X_n 独立同分布于 N(μ,σ2)N(\mu,\sigma^2)，其中 σ2>0\sigma^2>0，μ\mu 与 σ2\sigma^2 都未知。对数似然为

ℓ(μ,σ2)=−n2ln⁡(2π)−n2ln⁡σ2−12σ2∑i=1n(xi−μ)2.\ell(\mu,\sigma^2) =-\frac n2\ln(2\pi)-\frac n2\ln\sigma^2 -\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2.

对 μ\mu 求偏导并令其为零，得到

1σ2∑i=1n(xi−μ)=0⟹μ^=xˉ.\frac1{\sigma^2}\sum_{i=1}^n(x_i-\mu)=0 \quad\Longrightarrow\quad \hat\mu=\bar x.

对 σ2\sigma^2 求偏导并代入 μ^\hat\mu，得到

−n2σ2+12σ4∑i=1n(xi−xˉ)2=0⟹σ^2=1n∑i=1n(xi−xˉ)2.-\frac n{2\sigma^2} +\frac1{2\sigma^4}\sum_{i=1}^n(x_i-\bar x)^2=0 \quad\Longrightarrow\quad \hat\sigma^2=\frac1n\sum_{i=1}^n(x_i-\bar x)^2.

当样本不全相等时，这个驻点是内部的最大值点；当所有观测值都相等时，似然在 σ2→0+\sigma^2\to0^+ 的过程中增大，而 σ2=0\sigma^2=0 不在通常的参数空间内，因此没有正的有限最大似然估计。

均匀分布的最大似然估计落在边界

设 X1,…,XnX_1,\ldots,X_n 独立同分布于 U[0,θ]U[0,\theta]，θ>0\theta>0，并采用包含端点的密度。似然为

L(θ)=θ−nI{θ≥X(n)}.L(\theta)=\theta^{-n}I_{\{\theta\ge X_{(n)}\}}.

当 θ≥X(n)\theta\ge X_{(n)} 时，L(θ)=θ−nL(\theta)=\theta^{-n} 随 θ\theta 增大而严格递减，所以最大值出现在允许范围的最小值处：

θ^ML=X(n).\hat\theta_{\mathrm{ML}}=X_{(n)}.

这个结果不是由 ℓ′(θ)=0\ell'(\theta)=0 得到的，而是由支持范围的边界决定的。若把密度改成只在 θ>X(n)\theta>X_{(n)} 上为正，则 LL 在开区间内没有最大值，只有上确界，需要按所采用的密度约定单独说明。

探索

哪个伯努利参数使样本最可能？

比较不同参数值下固定样本的似然。

正在准备演示…

题集

练习

  1. 设 X1,…,X5X_1,\ldots,X_5 是来自 B(1,p)B(1,p) 的样本，观测到 ∑i=15xi=4\sum_{i=1}^5x_i=4。参数 pp 的最大似然估计为 。

    参考解答

    伯努利分布的最大似然估计为 p^=xˉ\hat p=\bar x，这里 xˉ=4/5=0.8\bar x=4/5=0.8。

  2. 设 X1,…,XnX_1,\ldots,X_n 是来自 U[0,θ]U[0,\theta] 的样本，观测到的样本最大值为 2.42.4。参数 θ\theta 的最大似然估计为 。

    参考解答

    均匀分布的似然在允许范围内随 θ\theta 增大而减小，因此最大似然估计取最小允许值，即样本最大值 X(n)=2.4X_{(n)}=2.4。

  3. 设 X1,…,XnX_1,\ldots,X_n 是来自率参数为 λ\lambda 的指数分布的样本，样本均值 xˉ=4\bar x=4。参数 λ\lambda 的最大似然估计为 。

    参考解答

    指数分布率参数的最大似然估计为 λ^=1/xˉ\hat\lambda=1/\bar x，所以 λ^=1/4=0.25\hat\lambda=1/4=0.25。

  4. 关于最大似然估计，下列说法正确的是

    选择答案
    参考解答

    最大似然估计的无偏性需要另行验证；似然函数是给定样本后关于参数的函数，不是后验密度；驻点还可能是极小值点，或者最大值在边界上。只有不变性的叙述正确。

本题集已答对 0 / 4 个可判分项