课程笔记

4.1数学期望

8 分钟阅读

阅读入口

期望的定义

期望是随机变量的概率加权平均，不一定是变量能够实际取到的值。例如掷一枚均匀骰子，点数本身只能是 $1$ 到 $6$ ，而点数的期望是 $\frac{1+2+\cdots+6}{6}=\frac72$ 。

按随机变量的类型，期望的定义分为两种形式（参见离散型随机变量与连续型随机变量）：

离散型：若 $X$ 的分布律为 $P\{X=x_k\}=p_k$ ，则 $E(X)=\sum_k x_kp_k,$ 要求 $\sum_k|x_k|p_k<\infty$ 。
连续型：若 $X$ 的概率密度为 $f$ ，则 $E(X)=\int_{-\infty}^{+\infty}xf(x)\,\mathrm dx,$ 要求 $\int_{-\infty}^{+\infty}|x|f(x)\,\mathrm dx<\infty$ 。

两种定义都可以看作“取值乘以相应概率”再累加，离散型用求和、连续型用积分。满足上述绝对收敛条件时，期望是唯一确定的实数；不满足时称期望不存在。

来源：数学期望

绝对收敛是期望定义的一部分；判断期望是否存在要先于计算，对称性用来判断积分值，收敛性需要单独核对。

指示变量法

对事件 $A$ ，定义指示变量

I_A=\begin{cases}1,&A\text{ 发生},\\0,&A\text{ 不发生},\end{cases}

则

E(I_A)=1\times P(A)+0\times P(\bar A)=P(A).

指示变量的期望就是事件的概率。若随机变量 $N$ 计数若干事件发生的个数，把它写成 $N=\sum_i I_{A_i}$ ，由期望的线性性质便有

E(N)=\sum_iE(I_{A_i})=\sum_iP(A_i).

这个做法通常比求出 $N$ 的完整分布更简单，而且不要求各事件独立：线性性质不需要独立性， $P(A_i)$ 也只要逐个求出即可。

帽子问题

$n$ 个人随机取回各自寄存的帽子，一人一顶。令 $I_i$ 表示第 $i$ 人是否取到自己的帽子，则 $I_i$ 是 $A_i=\{\text{第 }i\text{ 人取到自己的帽子}\}$ 的指示变量。

由对称性，第 $i$ 个人取到自己帽子的概率为 $\frac1n$ ，故 $P(A_i)=\frac1n$ 。取对人数 $N=\sum_{i=1}^nI_i$ 的期望为

E(N)=\sum_{i=1}^n\frac1n=n\times\frac1n=1.

无论人数多少，平均恰有一个人取到自己的帽子。注意取对人数并非常数， $N$ 仍可能取 $0$ 、 $2$ 等其他值；而 $A_i$ 之间并不独立。

来源：指示变量

指示变量的取值只有 $0$ 、 $1$ ，所以 $E(I_A)=P(A)$ 一步就能算；4.2证明切比雪夫不等式时也会再借它一次。

条件期望与全期望公式

给定 $Y$ 的某个取值时， $X$ 的条件期望是在条件分布下算出的期望。若 $X$ 与 $Y$ 都是离散型， $P\{Y=y_j\}>0$ ，则

E(X\mid Y=y_j)=\sum_i x_iP\{X=x_i\mid Y=y_j\};

若 $X$ 为连续型， $Y$ 的密度 $f_Y$ 在 $y$ 处为正，则

E(X\mid Y=y)=\int_{-\infty}^{+\infty}xf_{X\mid Y}(x\mid y)\,\mathrm dx,

其中 $f_{X\mid Y}$ 是条件密度，它由联合密度除以边缘密度 $f_Y(y)$ 得到，具体写法见条件分布。

来源：条件期望

把 $E(X\mid Y)$ 整体看作 $Y$ 的函数，它就是一个随机变量：当 $Y=y_j$ 时取 $E(X\mid Y=y_j)$ ，当 $Y=y$ 时取 $E(X\mid Y=y)$ 。全期望公式把它再取一次期望，得到 $X$ 的无条件期望：

E(X)=E\bigl[E(X\mid Y)\bigr].

按 $Y$ 的取值展开，就是

E(X)=\sum_jE(X\mid Y=y_j)P\{Y=y_j\}\qquad(Y\text{ 离散}),

或

E(X)=\int_{-\infty}^{+\infty}E(X\mid Y=y)f_Y(y)\,\mathrm dy\qquad(Y\text{ 连续}).

证明

离散情形。把 $P\{X=x_i\}$ 按 $Y$ 的取值分组（对 $P\{Y=y_j\}>0$ 的 $j$ ），

\begin{aligned} E(X) &=\sum_i x_iP\{X=x_i\} =\sum_i x_i\sum_jP\{X=x_i,\ Y=y_j\}\\ &=\sum_jP\{Y=y_j\}\sum_i x_i\frac{P\{X=x_i,\ Y=y_j\}}{P\{Y=y_j\}} =\sum_jP\{Y=y_j\}E(X\mid Y=y_j). \end{aligned}

第一步是分布律的加法公式，第二步交换求和次序，第三步用条件分布律的定义，最后一步是条件期望的定义。连续情形把求和换成积分、分布律换成密度，论证相同。

来源：条件期望

条件期望 $E(X\mid Y)$ 是 $Y$ 的函数，也就是随机变量；把它的期望写回 $E(X)$ ，就是4.2全方差公式的起点。

学习安排

第4章的数字特征都由期望统一定义：方差是 $(X-E(X))^2$ 的期望，协方差是两个变量乘积的期望。所以4.1的公式是后面三节的共同基础，按顺序读4.1、4.2、4.3、4.4时，后三节只是不断把不同的 $g(X,Y)$ 代入期望的定义。

这一节内部的顺序建议是：先确认期望存在（绝对收敛），再练随机变量函数的期望，最后进入指示变量法和全期望公式。后两种方法处理的是“分布难求”的情形，也是本章主要的解题手段。

常见分布的期望数值汇总在速查页；推导方法要能独立写出，尤其是指示变量法。

课程约定

期望记 $E(X)$ ；方差在本课程中记 $D(X)$ ，与知识点页面里的 $\operatorname{Var}(X)$ 是同一个量。
期望存在的判断放在计算之前：离散型检查 $\sum_k|x_k|p_k$ ，连续型检查 $\int|x|f(x)\,\mathrm dx$ ；不满足绝对收敛时直接说期望不存在。
指示变量按 $I_A=1$ （ $A$ 发生）、 $I_A=0$ （否则）定义，一切从 $E(I_A)=P(A)$ 出发。
“随机变量的函数”指 $g(X)$ 、 $g(X,Y)$ 这类变量；函数期望公式可以直接使用原变量的分布。

重点

线性性质 $E\left(\sum_i a_iX_i+b\right)=\sum_i a_iE(X_i)+b$ 与独立性无关，是这一章用得最多的一条。
指示变量法把计数变量拆成若干指示变量之和，既不需要各事件独立，也不需要先求分布律。
全期望公式 $E(X)=E[E(X\mid Y)]$ 处理分层结构：先在每种情形内求平均，再按情形概率加权。

易错点

对称分布不一定有期望。标准柯西分布的密度关于零对称，但正、负两部分的绝对值积分都发散，期望不存在，不能用对称性把期望抵消为零。
$E(XY)=E(X)E(Y)$ 要求 $X$ 、 $Y$ 相互独立且相应的期望都存在；线性性质则不需要独立。两条性质的条件不同，不能互相套用。
$E[g(X)]$ 一般不等于 $g(E(X))$ ，只有 $g$ 为线性函数时才恒等。
$E(X^2)$ 是二阶原点矩， $[E(X)]^2$ 是期望的平方，两者不同；4.2的方差公式依赖它们的差。
全期望公式只是在按 $Y$ 分层求和，条件期望 $E(X\mid Y)$ 本身是随机变量，不是常数。

复习要点

遇到“平均有多少人／多少次”这类问题，先看能不能写成指示变量之和再取期望，通常一步就能得到答案。遇到按类别分层的总体，先写出 $E(X\mid Y=y)$ ，再按 $Y$ 的分布加权。两个公式都用过之后，回到定义检查绝对收敛性，避免对柯西型分布直接使用对称性。