5.1大数定律

大数定律刻画样本均值的稳定性：随着样本量增大，样本均值偏离其期望的可能性越来越小。要让“可能性越来越小”有确切含义，先引入依概率收敛。

设 $Y_1,Y_2,\ldots$ 是定义在同一概率空间上的随机变量序列，$a$ 为常数。若对任意 $\varepsilon>0$ 都有

则称 $Y_n$ 依概率收敛于 $a$，记作 $Y_n\xrightarrow{P}a$。

它只说明“偏差超过固定误差 $\varepsilon$ 的概率”趋于零，不说明某个有限的 $n$ 之后偏差永远小于 $\varepsilon$，也不要求每个样本结果逐点趋近 $a$。

本页记 $E(X)$ 为数学期望，$D(X)=E\{[X-E(X)]^2\}$ 为方差（也写作 $\operatorname{Var}(X)$），$\bar X_n=\dfrac1n\sum_{i=1}^nX_i$ 为样本均值。期望的定义和性质见数学期望，随机变量的独立性见随机变量的独立性。

于是大数定律就是一类断言：在适当条件下，样本均值与它的期望之差依概率收敛于 $0$。不同的大数定律差别在于对 $X_i$ 的独立性、同分布性和矩条件的要求。

证明中反复用到切比雪夫不等式：若 $D(Y)$ 存在，则对任意 $\varepsilon>0$，

设 $X_1,X_2,\ldots$ 相互独立，方差存在且一致有界：存在常数 $C$，使 $D(X_i)\le C$ 对所有 $i$ 成立。则

更一般地，只要

相同结论也成立。相互独立可以减弱为两两不相关：证明只用到方差的可加性，而两两不相关已足够保证这一点。

这是最常用的形式。若 $X_1,X_2,\ldots$ 独立同分布，$E(X_i)=\mu$，$D(X_i)=\sigma^2<\infty$，则

并且切比雪夫不等式给出收敛速度的估计：

同分布使方差自动一致有界，所以这是切比雪夫大数定律的直接推论。

在成功概率为 $p$ 的 $n$ 次独立重复试验中，令 $N_n$ 为成功次数。则 $N_n$ 服从二项分布 $B(n,p)$（见二项分布），

由切比雪夫不等式，

即

频率 $\frac{N_n}{n}$ 依概率收敛于概率 $p$，这正是用大量重复试验的频率估计概率的依据。

若 $X_1,X_2,\ldots$ 独立同分布，且 $E|X_i|<\infty$，记 $\mu=E(X_i)$，则

与有限方差版本相比，辛钦大数定律不要求 $D(X_i)$ 有限，只要求一阶绝对矩存在，因此适用于方差无穷但均值有限的分布。它的证明需要特征函数等工具，这里直接使用结论。

设 $X_1,X_2,\ldots$ 独立同分布，$E(X_i)=\mu$，$D(X_i)=\sigma^2<\infty$。若希望

切比雪夫不等式给出一个充分条件。由

可知，只要 $\frac{\sigma^2}{n\varepsilon^2}\le\alpha$，即

要求就能满足；实际取不小于该值的整数。

对成功频率，$D\left(\frac{N_n}{n}\right)=\frac{p(1-p)}{n}$ 且 $p(1-p)\le\frac14$，所以未知 $p$ 时可用

再向上取整。这是保守保证：切比雪夫不等式不依赖具体分布，代价是通常比用正态近似算出的样本量大。