# 5.1大数定律

## 阅读入口

* [大数定律](/knowledge/maths/probability/law-of-large-numbers/)
* [数学期望](/knowledge/maths/probability/expectation/)

## 依概率收敛

大数定律刻画样本均值的稳定性：随着样本量增大，样本均值偏离其期望的可能性越来越小。要让“可能性越来越小”有确切含义，先引入依概率收敛。

设 $Y_1,Y_2,\ldots$ 是定义在同一概率空间上的随机变量序列，$a$ 为常数。若对任意 $\varepsilon>0$ 都有

$$
\lim_{n\to\infty}P\{|Y_n-a|\ge\varepsilon\}=0,
$$

则称 $Y_n$ **依概率收敛**于 $a$，记作 $Y_n\xrightarrow{P}a$。

它只说明“偏差超过固定误差 $\varepsilon$ 的概率”趋于零，不说明某个有限的 $n$ 之后偏差永远小于 $\varepsilon$，也不要求每个样本结果逐点趋近 $a$。

> [!WARNING]
> **依概率收敛不是逐点收敛**
>
> 给定一次试验，$Y_n$ 的取值序列可能反复偏离 $a$；定理控制的始终是偏离事件发生的概率，而不是单次结果。也不能把 $Y_n\xrightarrow{P}a$ 理解为存在某个 $N$，使得 $n>N$ 时 $|Y_n-a|<\varepsilon$ 必然成立。

本页记 $E(X)$ 为数学期望，$D(X)=E\{[X-E(X)]^2\}$ 为方差（也写作 $\operatorname{Var}(X)$），$\bar X_n=\dfrac1n\sum_{i=1}^nX_i$ 为样本均值。期望的定义和性质见[数学期望](/knowledge/maths/probability/expectation/)，随机变量的独立性见[随机变量的独立性](/knowledge/maths/probability/random-variable-independence/)。

于是大数定律就是一类断言：在适当条件下，样本均值与它的期望之差依概率收敛于 $0$。不同的大数定律差别在于对 $X_i$ 的独立性、同分布性和矩条件的要求。

[来源：大数定律](/knowledge/maths/probability/law-of-large-numbers/#definition)

这一段之后，所有结论都以 $X_n\xrightarrow{P}a$ 的形式出现；判断题目该用哪个定理时，先回到这里确认收敛的对象是哪个常数。

## 三个大数定律

证明中反复用到**切比雪夫不等式**：若 $D(Y)$ 存在，则对任意 $\varepsilon>0$，

$$
P\{|Y-E(Y)|\ge\varepsilon\}\le\frac{D(Y)}{\varepsilon^2}.
$$

### 切比雪夫大数定律

设 $X_1,X_2,\ldots$ 相互独立，方差存在且一致有界：存在常数 $C$，使 $D(X_i)\le C$ 对所有 $i$ 成立。则

$$
\frac1n\sum_{i=1}^nX_i-\frac1n\sum_{i=1}^nE(X_i)\xrightarrow{P}0.
$$

更一般地，只要

$$
\frac1{n^2}\sum_{i=1}^nD(X_i)\to0,
$$

相同结论也成立。相互独立可以减弱为两两不相关：证明只用到方差的可加性，而两两不相关已足够保证这一点。

**证明**

记 $\bar X_n=\frac1n\sum_{i=1}^nX_i$。由期望的线性性，

$$
E(\bar X_n)=\frac1n\sum_{i=1}^nE(X_i).
$$

因为 $X_i$ 两两不相关（相互独立时自然成立），方差可以相加：

$$
D(\bar X_n)=\frac1{n^2}\sum_{i=1}^nD(X_i)\le\frac{C}{n}.
$$

对任意 $\varepsilon>0$，把切比雪夫不等式用于 $\bar X_n$：

$$
P\{|\bar X_n-E(\bar X_n)|\ge\varepsilon\}
\le\frac{D(\bar X_n)}{\varepsilon^2}
\le\frac{C}{n\varepsilon^2}\to0.
$$

所以 $\bar X_n-E(\bar X_n)\xrightarrow{P}0$。若只假设 $\frac1{n^2}\sum_{i=1}^nD(X_i)\to0$，最后一步换成

$$
P\{|\bar X_n-E(\bar X_n)|\ge\varepsilon\}
\le\frac1{n^2\varepsilon^2}\sum_{i=1}^nD(X_i)\to0,
$$

结论仍然成立。

### 独立同分布、方差有限的情形

这是最常用的形式。若 $X_1,X_2,\ldots$ 独立同分布，$E(X_i)=\mu$，$D(X_i)=\sigma^2<\infty$，则

$$
\bar X_n\xrightarrow{P}\mu,
$$

并且切比雪夫不等式给出收敛速度的估计：

$$
P\{|\bar X_n-\mu|\ge\varepsilon\}\le\frac{\sigma^2}{n\varepsilon^2}\to0.
$$

同分布使方差自动一致有界，所以这是切比雪夫大数定律的直接推论。

### 伯努利大数定律

在成功概率为 $p$ 的 $n$ 次独立重复试验中，令 $N_n$ 为成功次数。则 $N_n$ 服从二项分布 $B(n,p)$（见[二项分布](/knowledge/maths/probability/binomial-distribution/)），

$$
E\left(\frac{N_n}{n}\right)=p,\qquad
D\left(\frac{N_n}{n}\right)=\frac{p(1-p)}{n}\le\frac1{4n}.
$$

由切比雪夫不等式，

$$
P\left\{\left|\frac{N_n}{n}-p\right|\ge\varepsilon\right\}
\le\frac{p(1-p)}{n\varepsilon^2}\to0,
$$

即

$$
\frac{N_n}{n}\xrightarrow{P}p.
$$

频率 $\frac{N_n}{n}$ 依概率收敛于概率 $p$，这正是用大量重复试验的频率估计概率的依据。

> [!NOTE]
> **频率不会单调靠近 $p$**
>
> 伯努利大数定律只说明频率与 $p$ 的偏差超过 $\varepsilon$ 的概率趋于零。频率仍可能在某次试验后远离 $p$，也不存在“试验次数足够多后频率必然等于 $p$”的结论。

### 辛钦大数定律

若 $X_1,X_2,\ldots$ 独立同分布，且 $E|X_i|<\infty$，记 $\mu=E(X_i)$，则

$$
\bar X_n\xrightarrow{P}\mu.
$$

与有限方差版本相比，辛钦大数定律不要求 $D(X_i)$ 有限，只要求一阶绝对矩存在，因此适用于方差无穷但均值有限的分布。它的证明需要特征函数等工具，这里直接使用结论。

> [!CAUTION]
> **一阶矩条件不能省**
>
> $E|X_i|<\infty$ 既保证 $\mu$ 存在，也是定理成立的条件。若独立同分布的 $X_i$ 连期望都不存在，例如标准柯西分布，样本均值不会依概率收敛到常数。

### 条件的比较

| 定理       | 条件                                                                  | 结论                                                     |
| :------- | :------------------------------------------------------------------ | :----------------------------------------------------- |
| 切比雪夫大数定律 | 相互独立（可减弱为两两不相关），$D(X_i)$ 存在且一致有界；更一般地，$\frac1{n^2}\sum_iD(X_i)\to0$ | $\frac1n\sum_iX_i-\frac1n\sum_iE(X_i)\xrightarrow{P}0$ |
| 伯努利大数定律  | $n$ 次独立重复试验，成功概率为 $p$，$N_n$ 为成功次数                                   | $\frac{N_n}{n}\xrightarrow{P}p$                        |
| 辛钦大数定律   | 独立同分布，一阶绝对矩有限，均值 $\mu=E(X_i)$                                       | $\bar X_n\xrightarrow{P}\mu$                           |

> [!IMPORTANT]
> **先确认条件再选定理**
>
> 三者的差别在条件而不是结论形式：切比雪夫版本允许不同分布，但要求方差可控；辛钦版本要求同分布，只要求一阶绝对矩有限；伯努利版本只处理独立重复试验的成功频率。引用时写清用的是哪一个定理，避免把某个定理的结论套到不满足条件的序列上。

### 样本量的保守估算

设 $X_1,X_2,\ldots$ 独立同分布，$E(X_i)=\mu$，$D(X_i)=\sigma^2<\infty$。若希望

$$
P\{|\bar X_n-\mu|<\varepsilon\}\ge1-\alpha,
$$

切比雪夫不等式给出一个**充分条件**。由

$$
P\{|\bar X_n-\mu|<\varepsilon\}\ge1-\frac{\sigma^2}{n\varepsilon^2}
$$

可知，只要 $\frac{\sigma^2}{n\varepsilon^2}\le\alpha$，即

$$
n\ge\frac{\sigma^2}{\alpha\varepsilon^2},
$$

要求就能满足；实际取不小于该值的整数。

对成功频率，$D\left(\frac{N_n}{n}\right)=\frac{p(1-p)}{n}$ 且 $p(1-p)\le\frac14$，所以未知 $p$ 时可用

$$
n\ge\frac1{4\alpha\varepsilon^2},
$$

再向上取整。这是保守保证：切比雪夫不等式不依赖具体分布，代价是通常比用正态近似算出的样本量大。

[来源：大数定律](/knowledge/maths/probability/law-of-large-numbers/#theorems)

三个定理的差别只在独立性、同分布与矩条件，读的时候把每条的条件和结论分两列抄下来，5.2的中心极限定理会在这两列之外再加一列“结论的形式”。

## 学习安排

本节先定义依概率收敛，再依次给出切比雪夫、伯努利、辛钦三个大数定律，最后用切比雪夫不等式反解样本量。切比雪夫版本可以直接由第4章的切比雪夫不等式证明；伯努利版本是它在独立重复试验上的特例；辛钦版本去掉了方差条件，证明需要特征函数。阅读重点在于判断条件和使用结论。

样本量估算放在最后，是把切比雪夫不等式的方向倒过来用：已知精度和置信水平，求样本量的下界。它不是与三个定理并列的新结论，复习时可以把它当作切比雪夫不等式的一个应用。

## 课程约定

* 方差记 $D(X)$，标准差记 $\sqrt{D(X)}$；样本均值记 $\bar X_n=\frac1n\sum_{i=1}^nX_i$。
* 依概率收敛记 $X_n\xrightarrow{P}a$，本章的结论都用这个记号。依分布收敛 $X_n\xrightarrow{d}X$ 到5.2才出现，两者不要混用。
* “相互独立”与“独立同分布”要分开写：切比雪夫大数定律只要求独立（可减弱为两两不相关）和方差可控；辛钦大数定律要求独立同分布且一阶绝对矩有限。
* 引用切比雪夫不等式时说明引用的是不等式本身还是由它得到的大数定律，两者的条件不同。

## 重点

* 依概率收敛的含义：偏差超过任意固定误差的概率趋于零；它不控制单次试验的偏差，也不保证单调。
* 三个大数定律的条件差异是本章的考点：是否同分布、是否要求方差有限、方差是否一致有界。
* 频率估计概率的依据是伯努利大数定律；由切比雪夫不等式得到的样本量是充分条件，结果偏保守。

## 易错点

* 把依概率收敛理解成“试验次数足够多后偏差一定小于给定误差”。
* 用辛钦大数定律时仍额外要求方差有限，或反过来把切比雪夫版本用在方差不可控的序列上。
* 把频率趋于概率理解成频率单调接近 $p$，或认为某次试验后频率会等于 $p$。
* 样本量估算忘记向上取整，或把切比雪夫给出的下界当作必要条件；它只是充分条件。