课程笔记

4.2方差

8 分钟阅读

阅读入口

方差的定义与计算公式

设 $X$ 满足 $E(X^2)<+\infty$ ，记 $\mu=E(X)$ 。称

D(X)=E\bigl[(X-\mu)^2\bigr]

为 $X$ 的方差，也记作 $\operatorname{Var}(X)$ ；称 $\sqrt{D(X)}$ 为标准差，它与 $X$ 取相同的单位。方差是平方的量，标准差才与原始数据同量纲，比较波动时常用标准差。

方差常用下面的公式计算：

D(X)=E(X^2)-[E(X)]^2.

证明

把平方展开，再用期望的线性性质：

D(X)=E(X^2-2\mu X+\mu^2)=E(X^2)-2\mu E(X)+\mu^2=E(X^2)-[E(X)]^2.

来源：方差

教材先给定义，再给 $D(X)=E(X^2)-[E(X)]^2$ ；本课程统一按后一个式子算，避免在 $(X-E(X))^2$ 上逐项展开。

方差的性质

常数与仿射变换

D(C)=0,\qquad D(aX+b)=a^2D(X).

证明

常数的取值不波动，所以 $D(C)=0$ 。对仿射变换，均值为 $aE(X)+b$ ，于是

D(aX+b)=E\bigl[(aX+b-aE(X)-b)^2\bigr] =a^2E\bigl[(X-E(X))^2\bigr]=a^2D(X).

平移不改变波动，乘以 $a$ 则把偏差放大 $|a|$ 倍，方差相应放大 $a^2$ 倍。

两个变量与线性组合

D(X\pm Y)=D(X)+D(Y)\pm2\operatorname{Cov}(X,Y).

协方差的定义与性质见协方差。若 $X$ 与 $Y$ 不相关，即 $\operatorname{Cov}(X,Y)=0$ （独立是充分条件），则

D(X+Y)=D(X-Y)=D(X)+D(Y).

对有限线性组合，

D\left(\sum_i a_iX_i\right) =\sum_i a_i^2D(X_i)+2\sum_{i<j}a_ia_j\operatorname{Cov}(X_i,X_j).

若各变量两两不相关，所有协方差项为零，方差只剩 $\sum_i a_i^2D(X_i)$ 。

样本和与样本均值

设 $X_1,\ldots,X_n$ 独立同分布， $E(X_i)=\mu$ ， $D(X_i)=\sigma^2$ 。独立性使各协方差为零，于是

E\left(\sum_{i=1}^nX_i\right)=n\mu,\qquad D\left(\sum_{i=1}^nX_i\right)=n\sigma^2,

样本均值 $\bar X=\frac1n\sum_iX_i$ 满足

E(\bar X)=\mu,\qquad D(\bar X)=\frac{\sigma^2}{n}.

最后一条由 $D(\bar X)=\frac{1}{n^2}D\left(\sum_iX_i\right)=\frac{n\sigma^2}{n^2}$ 得到。平均值的标准差为 $\sigma/\sqrt n$ ：若希望它减半，样本量要增为原来的四倍。

零方差

方差非负，且

D(X)=0

当且仅当 $X=E(X)$ 几乎必然成立。也就是说，方差为零的随机变量几乎必然是常数；这一点在讨论相关系数的分母时要用到。

来源：方差

本节的性质按“仿射变换 → 两个变量 → 样本和”排列，最后落到零方差这个特殊情形；写 $D(\bar X)=\sigma^2/n$ 时默认样本独立同分布。

切比雪夫不等式

只要 $D(X)$ 有限，对任意 $\varepsilon>0$ ，

P\{|X-E(X)|\ge\varepsilon\}\le\frac{D(X)}{\varepsilon^2}.

等价地，

P\{|X-E(X)|<\varepsilon\}\ge1-\frac{D(X)}{\varepsilon^2}.

若右端为负，只能说概率不小于 $0$ ，此时得到的是平凡下界。

证明

记 $A=\{|X-E(X)|\ge\varepsilon\}$ ， $I_A$ 是 $A$ 的指示变量， $\mu=E(X)$ 。在 $A$ 上 $\frac{(X-\mu)^2}{\varepsilon^2}\ge1$ ，在 $A$ 外这个比值非负，所以处处有

I_A\le\frac{(X-\mu)^2}{\varepsilon^2}.

两边取期望，左边是 $P(A)$ ，右边是 $\frac{D(X)}{\varepsilon^2}$ ，即得结论。

来源：切比雪夫不等式

全方差公式

D(X)=E[D(X\mid Y)]+D[E(X\mid Y)].

其中 $D(X\mid Y)=E(X^2\mid Y)-[E(X\mid Y)]^2$ 是给定 $Y$ 时的条件方差（条件期望与条件分布的写法见条件期望和条件分布）。全方差公式把总波动拆成两部分：各情形内部的平均波动 $E[D(X\mid Y)]$ ，以及各情形平均水平之间的波动 $D[E(X\mid Y)]$ 。

证明

由条件期望的性质， $E(X^2)=E[E(X^2\mid Y)]$ ，而

E(X^2\mid Y)=D(X\mid Y)+[E(X\mid Y)]^2.

于是

\begin{aligned} D(X) &=E(X^2)-[E(X)]^2\\ &=E[D(X\mid Y)]+E\bigl([E(X\mid Y)]^2\bigr)-\bigl(E[E(X\mid Y)]\bigr)^2\\ &=E[D(X\mid Y)]+D[E(X\mid Y)]. \end{aligned}

来源：全方差公式

学习安排

第4章围绕期望展开：4.1建立期望与全期望公式，4.2用 $(X-E(X))^2$ 的期望定义方差，4.3再把两个变量的联动写成两个偏差乘积的期望。方差的定义依赖4.1的期望运算；性质中出现的协方差要到4.3才展开，初读时可以先把它当作一个记号。

本节按“定义与计算公式、性质、样本和与样本均值、切比雪夫不等式、全方差公式”的顺序展开。样本均值的方差 $\sigma^2/n$ 与全方差公式在后面的统计推断中还会反复使用，复习时优先保证这两条能独立写出。

课程约定

方差在本课程记 $D(X)$ ；知识点页面同时给出 $\operatorname{Var}(X)$ ，两者是同一个量。标准差记 $\sqrt{D(X)}$ 。
计算方差统一走 $D(X)=E(X^2)-[E(X)]^2$ ：先算 $E(X^2)$ ，再减去期望的平方，不在 $(X-E(X))^2$ 上逐项展开。
“不相关”在本课程中专指协方差为零。独立是它的充分条件，反向不成立，4.3会单独讨论两者的差别。
切比雪夫不等式只要求方差有限，不要求知道分布；已知正态分布时改用标准化查表，不套这个界。

重点

仿射变换只把方差乘以系数的平方，平移不改变波动。
样本均值的方差是 $\sigma^2/n$ ：样本量增为四倍，平均值的标准差才减半。
全方差公式把总波动拆成组内平均波动与组间均值差异两部分，两部分缺一不可。

易错点

方差没有线性性： $D(X-X)=0$ ，不能写成 $2D(X)$ ；独立时 $D(X-Y)=D(X)+D(Y)$ ，不会相减。
$E(X^2)$ 与 $[E(X)]^2$ 不是一回事，前者是二阶原点矩。
切比雪夫给出的是上界，通常偏宽；下界算成负数时只能取 $0$ ，不能当作有效估计。
混合分布中只对各条件方差加权平均，会漏掉条件均值变化的那部分波动。

复习要点

复习时按“先判断两个变量是否相关，再决定要不要保留 $2\operatorname{Cov}(X,Y)$ ”的顺序检查方差公式，比直接套 $D(X\pm Y)$ 更稳。切比雪夫不等式适合在只给均值和方差时估界；题目一旦给出具体分布，应改走分布计算，避免把宽界当成精确值。