知识点

随机变量的独立性

定义

设 (X,Y)(X,Y) 是二维随机变量,联合分布函数为 F(x,y)=P{X≤x, Y≤y}F(x,y)=P\{X\le x,\ Y\le y\},两个边缘分布函数分别为 FX(x)=P{X≤x}F_X(x)=P\{X\le x\} 与 FY(y)=P{Y≤y}F_Y(y)=P\{Y\le y\}。若对任意实数 x,yx,y 都有

F(x,y)=FX(x)FY(y),F(x,y)=F_X(x)F_Y(y),

则称 XX 与 YY 相互独立。

分布函数等式等价于:对任意可测集合 A,BA,B,

P{X∈A, Y∈B}=P{X∈A}P{Y∈B}.P\{X\in A,\ Y\in B\}=P\{X\in A\}P\{Y\in B\}.

按随机变量的类型,判定式可以写成下面的形式:

类型记号判定式
离散型联合分布律 pij=P{X=xi, Y=yj}p_{ij}=P\{X=x_i,\ Y=y_j\},边缘分布律 pi⋅=∑jpijp_{i\cdot}=\sum_j p_{ij}、p⋅j=∑ipijp_{\cdot j}=\sum_i p_{ij}对所有 i,ji,j,pij=pi⋅p⋅jp_{ij}=p_{i\cdot}p_{\cdot j}
连续型联合密度 f(x,y)f(x,y),边缘密度 fX(x)=∫−∞+∞f(x,y) dyf_X(x)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dy、fY(y)=∫−∞+∞f(x,y) dxf_Y(y)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dxf(x,y)=fX(x)fY(y)f(x,y)=f_X(x)f_Y(y) 几乎处处成立

表中连续型的联合密度指满足 P{(X,Y)∈D}=∬Df(x,y) dx dyP\{(X,Y)\in D\}=\iint_D f(x,y)\,\mathrm dx\,\mathrm dy 的非负函数,DD 为任意平面区域。联合分布与边缘分布的完整讨论分别见二维联合分布函数和边缘分布。

多个随机变量的相互独立

X1,…,XnX_1,\ldots,X_n 相互独立,当且仅当对任意 (x1,…,xn)∈Rn(x_1,\ldots,x_n)\in\mathbb R^n 都有

F(x1,…,xn)=∏i=1nFi(xi).F(x_1,\ldots,x_n)=\prod_{i=1}^{n}F_i(x_i).

连续型相应地要求

f(x1,…,xn)=∏i=1nfi(xi)f(x_1,\ldots,x_n)=\prod_{i=1}^{n}f_i(x_i)

几乎处处成立;离散型要求每个格点的联合分布律等于各边缘分布律之积。取 n=2n=2 就是两个随机变量相互独立的定义。

性质与判定

密度分解与支持区域

若联合密度在全平面上能写成两个非负函数的乘积

f(x,y)=g(x)h(y),f(x,y)=g(x)h(y),

且 g,hg,h 在全平面上的积分都是有限正数,则 XX 与 YY 独立。事实上,由 ∬f(x,y) dx dy=1\iint f(x,y)\,\mathrm dx\,\mathrm dy=1 得 (∫g)(∫h)=1\left(\int g\right)\left(\int h\right)=1,而

fX(x)=g(x)∫−∞+∞h(y) dy,fY(y)=h(y)∫−∞+∞g(x) dx,f_X(x)=g(x)\int_{-\infty}^{+\infty}h(y)\,\mathrm dy,\qquad f_Y(y)=h(y)\int_{-\infty}^{+\infty}g(x)\,\mathrm dx,

两式相乘恰好等于 g(x)h(y)=f(x,y)g(x)h(y)=f(x,y)。

反过来,独立时联合密度几乎处处等于 fX(x)fY(y)f_X(x)f_Y(y),所以判定时只需检查这种乘积形式。

独立变量的函数仍独立

若 XX 与 YY 独立,则对任意函数 g,hg,h,g(X)g(X) 与 h(Y)h(Y) 也独立。这是因为 {g(X)∈A}\{g(X)\in A\} 与 {h(Y)∈B}\{h(Y)\in B\} 分别是 {X∈g−1(A)}\{X\in g^{-1}(A)\} 与 {Y∈h−1(B)}\{Y\in h^{-1}(B)\},代回独立性的集合形式即可。

更一般地,相互独立的变量分成两组、且两组互不重叠时,每组变量构成的函数仍相互独立。例如 X1,X2,X3,X4X_1,X_2,X_3,X_4 相互独立,则 X1+X2X_1+X_2 与 X3X4X_3X_4 独立。

独立与不相关

当 X,YX,Y 的二阶矩都存在时,记

Cov⁡(X,Y)=E[(X−E(X))(Y−E(Y))].\operatorname{Cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr].

若 XX 与 YY 独立,则

E(XY)=E(X)E(Y),Cov⁡(X,Y)=0.E(XY)=E(X)E(Y),\qquad \operatorname{Cov}(X,Y)=0.

以连续型为例,独立时 f=fXfYf=f_Xf_Y,于是

E(XY)=∬xy fX(x)fY(y) dx dy=(∫xfX(x) dx)(∫yfY(y) dy)=E(X)E(Y).E(XY)=\iint xy\,f_X(x)f_Y(y)\,\mathrm dx\,\mathrm dy =\left(\int x f_X(x)\,\mathrm dx\right)\left(\int y f_Y(y)\,\mathrm dy\right)=E(X)E(Y).

协方差为零称为 XX 与 YY 不相关;当两个方差都为正时,这也等价于相关系数为零。独立一定不相关,反方向一般不成立。

取 XX 在 [−1,1][-1,1] 上均匀分布、Y=X2Y=X^2,则 E(X)=0E(X)=0、E(XY)=E(X3)=0E(XY)=E(X^3)=0,所以 Cov⁡(X,Y)=0\operatorname{Cov}(X,Y)=0;但 YY 完全由 XX 决定,两者显然不独立。事件概率的验证见下面的例子。

例子

支持区域不能分离:0<x<y<10<x<y<1 上的密度

设

f(x,y)={2,0<x<y<1,0,其他.f(x,y)=\begin{cases}2, & 0<x<y<1,\\ 0, & \text{其他}.\end{cases}

先求边缘密度:

fX(x)=∫x12 dy=2(1−x),0<x<1,f_X(x)=\int_x^1 2\,\mathrm dy=2(1-x),\quad 0<x<1,fY(y)=∫0y2 dx=2y,0<y<1.f_Y(y)=\int_0^y 2\,\mathrm dx=2y,\quad 0<y<1.

在正方形 (0,1)2(0,1)^2 内 fX(x)fY(y)=4y(1−x)>0f_X(x)f_Y(y)=4y(1-x)>0,而 f(x,y)f(x,y) 在 x>yx>y 时为零。二者在正面积区域上不相等,所以 XX 与 YY 不独立。

联合密度在非零区域 0<x<y<10<x<y<1 内是常数 22,形式上可以写成 2⋅12\cdot 1 这样的乘积,但这个分解不能延拓到整个正方形,问题正出在支持区域。

不相关但不独立

设 X∼U[−1,1]X\sim U[-1,1](区间上的均匀分布),Y=X2Y=X^2。则 E(X)=0E(X)=0、E(Y)=E(X2)=13E(Y)=E(X^2)=\dfrac13,且

E(XY)=E(X3)=∫−11x32 dx=0,E(XY)=E(X^3)=\int_{-1}^{1}\frac{x^3}{2}\,\mathrm dx=0,

所以 Cov⁡(X,Y)=E(XY)−E(X)E(Y)=0\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y)=0,两者不相关。

但它们不独立:事件 {0≤X≤12}\{0\le X\le \tfrac12\} 包含于 {Y≤14}\{Y\le \tfrac14\},所以

P{0≤X≤12, Y≤14}=14,P\{0\le X\le \tfrac12,\ Y\le \tfrac14\}=\frac14,

而 P{0≤X≤12}P{Y≤14}=14⋅12=18P\{0\le X\le \tfrac12\}P\{Y\le \tfrac14\}=\dfrac14\cdot\dfrac12=\dfrac18,乘法关系不成立。

两两独立但不相互独立

抛两枚均匀硬币,记事件 AA 为“第一枚正面”,BB 为“第二枚正面”,CC 为“两枚结果不同”。四个样本点等可能,三个事件的概率都是 12\frac12,任意两个的交事件只含一个样本点,概率都是 14\frac14,所以

P(AB)=P(A)P(B),P(AC)=P(A)P(C),P(BC)=P(B)P(C),P(AB)=P(A)P(B),\qquad P(AC)=P(A)P(C),\qquad P(BC)=P(B)P(C),

即 AA、BB、CC 两两独立。但三个事件同时发生是空集,

P(ABC)=0≠18=P(A)P(B)P(C),P(ABC)=0\ne\frac18=P(A)P(B)P(C),

所以它们不相互独立。取 X=IAX=I_A、Y=IBY=I_B、Z=ICZ=I_C,就得到两两独立而不相互独立的三个随机变量。

交互探索

对零一变量的联合表,比较一格联合概率与两个边缘概率之积。

怎样用联合分布检验独立性?

比较两个零一变量的联合概率与边缘概率之积。

正在准备演示…

题集

练习

  1. 设 f(x,y)=2f(x,y)=2(0<x<y<10<x<y<1),其他位置为 00。

    1. fX(12)=f_X\left(\dfrac12\right)= 。

      参考解答

      fX(x)=∫x12 dy=2(1−x)f_X(x)=\int_x^1 2\,\mathrm dy=2(1-x),代入 x=12x=\dfrac12 得 11。

    2. XX 与 YY 是否独立?

      选择答案
      参考解答

      边缘密度之积为 4y(1−x)4y(1-x),与联合密度在 x>yx>y 的正面积区域上不一致,所以不独立。

  2. 设 (X,Y)(X,Y) 的联合分布律为

    X\YX\backslash Y0011
    000.10.10.40.4
    110.30.30.20.2
    1. P{X=0}=P\{X=0\}= 。

      参考解答

      按行求和:0.1+0.4=0.50.1+0.4=0.5。

    2. XX 与 YY 是否独立?

      选择答案
      参考解答

      P{X=0}P{Y=0}=0.5×0.4=0.2P\{X=0\}P\{Y=0\}=0.5\times0.4=0.2,而 P{X=0, Y=0}=0.1P\{X=0,\ Y=0\}=0.1,乘法关系不成立。

  3. 设 X1,X2,X3,X4X_1,X_2,X_3,X_4 相互独立。以下哪些随机变量一定相互独立?

    题 functions-independent · functions-choice
    参考解答

    AA、CC 的两组变量互不重叠;BB、DD 各自共享 X1X_1,共享变量的函数不保证独立。

  4. 下列哪个条件能保证 XX 与 YY 独立?

    选择答案
    参考解答

    AA、BB 只说明不相关;DD 只约束两个边缘,联合分布仍可不同;只有联合正态时不相关才等价于独立。

  5. 说明为什么“密度在非零区域的公式可以分解”不能作为独立的判定依据,并结合支持区域举例。