课程笔记

3.4随机变量的独立性

阅读入口

随机变量独立的定义

设 (X,Y)(X,Y) 是二维随机变量,联合分布函数为 F(x,y)=P{X≤x, Y≤y}F(x,y)=P\{X\le x,\ Y\le y\},两个边缘分布函数分别为 FX(x)=P{X≤x}F_X(x)=P\{X\le x\} 与 FY(y)=P{Y≤y}F_Y(y)=P\{Y\le y\}。若对任意实数 x,yx,y 都有

F(x,y)=FX(x)FY(y),F(x,y)=F_X(x)F_Y(y),

则称 XX 与 YY 相互独立。

分布函数等式等价于:对任意可测集合 A,BA,B,

P{X∈A, Y∈B}=P{X∈A}P{Y∈B}.P\{X\in A,\ Y\in B\}=P\{X\in A\}P\{Y\in B\}.

按随机变量的类型,判定式可以写成下面的形式:

类型记号判定式
离散型联合分布律 pij=P{X=xi, Y=yj}p_{ij}=P\{X=x_i,\ Y=y_j\},边缘分布律 pi⋅=∑jpijp_{i\cdot}=\sum_j p_{ij}、p⋅j=∑ipijp_{\cdot j}=\sum_i p_{ij}对所有 i,ji,j,pij=pi⋅p⋅jp_{ij}=p_{i\cdot}p_{\cdot j}
连续型联合密度 f(x,y)f(x,y),边缘密度 fX(x)=∫−∞+∞f(x,y) dyf_X(x)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dy、fY(y)=∫−∞+∞f(x,y) dxf_Y(y)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dxf(x,y)=fX(x)fY(y)f(x,y)=f_X(x)f_Y(y) 几乎处处成立

表中连续型的联合密度指满足 P{(X,Y)∈D}=∬Df(x,y) dx dyP\{(X,Y)\in D\}=\iint_D f(x,y)\,\mathrm dx\,\mathrm dy 的非负函数,DD 为任意平面区域。联合分布与边缘分布的完整讨论分别见二维联合分布函数和边缘分布。

多个随机变量的相互独立

X1,…,XnX_1,\ldots,X_n 相互独立,当且仅当对任意 (x1,…,xn)∈Rn(x_1,\ldots,x_n)\in\mathbb R^n 都有

F(x1,…,xn)=∏i=1nFi(xi).F(x_1,\ldots,x_n)=\prod_{i=1}^{n}F_i(x_i).

连续型相应地要求

f(x1,…,xn)=∏i=1nfi(xi)f(x_1,\ldots,x_n)=\prod_{i=1}^{n}f_i(x_i)

几乎处处成立;离散型要求每个格点的联合分布律等于各边缘分布律之积。取 n=2n=2 就是两个随机变量相互独立的定义。

1.4判定的是事件独立,这里判定的是随机变量;条件从 P(AB)=P(A)P(B)P(AB)=P(A)P(B) 换成分布函数或密度的乘积。

独立性的判定与推论

密度分解与支持区域

若联合密度在全平面上能写成两个非负函数的乘积

f(x,y)=g(x)h(y),f(x,y)=g(x)h(y),

且 g,hg,h 在全平面上的积分都是有限正数,则 XX 与 YY 独立。事实上,由 ∬f(x,y) dx dy=1\iint f(x,y)\,\mathrm dx\,\mathrm dy=1 得 (∫g)(∫h)=1\left(\int g\right)\left(\int h\right)=1,而

fX(x)=g(x)∫−∞+∞h(y) dy,fY(y)=h(y)∫−∞+∞g(x) dx,f_X(x)=g(x)\int_{-\infty}^{+\infty}h(y)\,\mathrm dy,\qquad f_Y(y)=h(y)\int_{-\infty}^{+\infty}g(x)\,\mathrm dx,

两式相乘恰好等于 g(x)h(y)=f(x,y)g(x)h(y)=f(x,y)。

反过来,独立时联合密度几乎处处等于 fX(x)fY(y)f_X(x)f_Y(y),所以判定时只需检查这种乘积形式。

独立变量的函数仍独立

若 XX 与 YY 独立,则对任意函数 g,hg,h,g(X)g(X) 与 h(Y)h(Y) 也独立。这是因为 {g(X)∈A}\{g(X)\in A\} 与 {h(Y)∈B}\{h(Y)\in B\} 分别是 {X∈g−1(A)}\{X\in g^{-1}(A)\} 与 {Y∈h−1(B)}\{Y\in h^{-1}(B)\},代回独立性的集合形式即可。

更一般地,相互独立的变量分成两组、且两组互不重叠时,每组变量构成的函数仍相互独立。例如 X1,X2,X3,X4X_1,X_2,X_3,X_4 相互独立,则 X1+X2X_1+X_2 与 X3X4X_3X_4 独立。

独立与不相关

当 X,YX,Y 的二阶矩都存在时,记

Cov⁡(X,Y)=E[(X−E(X))(Y−E(Y))].\operatorname{Cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr].

若 XX 与 YY 独立,则

E(XY)=E(X)E(Y),Cov⁡(X,Y)=0.E(XY)=E(X)E(Y),\qquad \operatorname{Cov}(X,Y)=0.

以连续型为例,独立时 f=fXfYf=f_Xf_Y,于是

E(XY)=∬xy fX(x)fY(y) dx dy=(∫xfX(x) dx)(∫yfY(y) dy)=E(X)E(Y).E(XY)=\iint xy\,f_X(x)f_Y(y)\,\mathrm dx\,\mathrm dy =\left(\int x f_X(x)\,\mathrm dx\right)\left(\int y f_Y(y)\,\mathrm dy\right)=E(X)E(Y).

协方差为零称为 XX 与 YY 不相关;当两个方差都为正时,这也等价于相关系数为零。独立一定不相关,反方向一般不成立。

取 XX 在 [−1,1][-1,1] 上均匀分布、Y=X2Y=X^2,则 E(X)=0E(X)=0、E(XY)=E(X3)=0E(XY)=E(X^3)=0,所以 Cov⁡(X,Y)=0\operatorname{Cov}(X,Y)=0;但 YY 完全由 XX 决定,两者显然不独立。事件概率的验证见下面的例子。

连续型的判定要把支持区域和公式一起看,离散型则回到二维表逐格核对。

学习安排

本章先讨论联合分布、边缘分布与条件分布,再引入独立性,所以判定独立性时要把联合分布和两个边缘分布放在一起比较。复习时按“写出联合分布 → 写出两个边缘分布 → 检查乘法关系”的顺序进行;连续型还要先看支持区域。

本节末尾的两条结论分别服务于后面的内容:独立变量的函数仍独立,是3.5中卷积公式与最值公式的前提;独立推出不相关,为4.3讨论相关系数提供基准。复习时把这两条与3.5、4.3对照,不要把“不相关”当成独立的判定条件。

课程约定

  • 联合分布函数记作 F(x,y)F(x,y),两个边缘分布函数记作 FX(x)F_X(x)、FY(y)F_Y(y);通过自变量个数区分两者。
  • 离散型用 pijp_{ij} 表示联合分布律,边缘分布律记作 pi⋅p_{i\cdot} 与 p⋅jp_{\cdot j}。
  • 连续型的密度等式按“几乎处处成立”理解,不要求逐点相等;用密度否定独立时,要在有正面积的区域上找反例。
  • “不相关”指协方差为零,讨论前先确认二阶矩存在。

重点

  • 判定独立要覆盖全部取值,判定不独立只需一个反例;两者工作量不同,抽查几组不能当作证明。
  • 连续型先检查支持区域能否分离,再检查密度公式能否写成乘积;只做后者容易误判。
  • 不相关只是独立的必要条件,联合正态是反向成立的额外条件。

易错点

  • 把“密度在非零区域能分解”当成独立;0<x<y<10<x<y<1 上的均匀密度就是反例。
  • 由协方差为零推出独立;X∼U[−1,1]X\sim U[-1,1]、Y=X2Y=X^2 是反例。
  • 认为独立变量的任意函数都独立;共享变量的 X+YX+Y 与 X−YX-Y 不在此列。