课程笔记

3.6 n维随机变量

阅读入口

n维随机向量与联合分布

设 X1,…,XnX_1,\ldots,X_n 是定义在同一概率空间上的随机变量。把它们组合为

X=(X1,…,Xn)T,\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T},

称为 nn 维随机向量。一次试验的结果 ω\omega 确定向量的每一个分量,得到 X(ω)\boldsymbol X(\omega)。当 n=2n=2 时也称二维随机变量。

向量的整体概率规律可由联合分布函数描述;单独研究某个分量时,可求其边缘分布。

对随机向量 X=(X1,…,Xn)T\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T},定义其联合分布函数为

F(x1,…,xn)=P{X1≤x1,…,Xn≤xn},(x1,…,xn)∈Rn.F(x_1,\ldots,x_n)=P\{X_1\le x_1,\ldots,X_n\le x_n\}, \qquad (x_1,\ldots,x_n)\in\mathbb R^n.

右端是各分量同时满足阈值条件的概率。离散分布通过累加满足条件的联合概率求出;有联合密度时,对相应区域积分。

教材把 X\boldsymbol X 写成列向量;边缘密度通过对其余坐标积分得到,条件密度还需要用相应的边缘密度归一化。

相互独立

设 (X,Y)(X,Y) 是二维随机变量,联合分布函数为 F(x,y)=P{X≤x, Y≤y}F(x,y)=P\{X\le x,\ Y\le y\},两个边缘分布函数分别为 FX(x)=P{X≤x}F_X(x)=P\{X\le x\} 与 FY(y)=P{Y≤y}F_Y(y)=P\{Y\le y\}。若对任意实数 x,yx,y 都有

F(x,y)=FX(x)FY(y),F(x,y)=F_X(x)F_Y(y),

则称 XX 与 YY 相互独立。

分布函数等式等价于:对任意可测集合 A,BA,B,

P{X∈A, Y∈B}=P{X∈A}P{Y∈B}.P\{X\in A,\ Y\in B\}=P\{X\in A\}P\{Y\in B\}.

按随机变量的类型,判定式可以写成下面的形式:

类型记号判定式
离散型联合分布律 pij=P{X=xi, Y=yj}p_{ij}=P\{X=x_i,\ Y=y_j\},边缘分布律 pi⋅=∑jpijp_{i\cdot}=\sum_j p_{ij}、p⋅j=∑ipijp_{\cdot j}=\sum_i p_{ij}对所有 i,ji,j,pij=pi⋅p⋅jp_{ij}=p_{i\cdot}p_{\cdot j}
连续型联合密度 f(x,y)f(x,y),边缘密度 fX(x)=∫−∞+∞f(x,y) dyf_X(x)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dy、fY(y)=∫−∞+∞f(x,y) dxf_Y(y)=\int_{-\infty}^{+\infty}f(x,y)\,\mathrm dxf(x,y)=fX(x)fY(y)f(x,y)=f_X(x)f_Y(y) 几乎处处成立

表中连续型的联合密度指满足 P{(X,Y)∈D}=∬Df(x,y) dx dyP\{(X,Y)\in D\}=\iint_D f(x,y)\,\mathrm dx\,\mathrm dy 的非负函数,DD 为任意平面区域。联合分布与边缘分布的完整讨论分别见二维联合分布函数和边缘分布。

多个随机变量的相互独立

X1,…,XnX_1,\ldots,X_n 相互独立,当且仅当对任意 (x1,…,xn)∈Rn(x_1,\ldots,x_n)\in\mathbb R^n 都有

F(x1,…,xn)=∏i=1nFi(xi).F(x_1,\ldots,x_n)=\prod_{i=1}^{n}F_i(x_i).

连续型相应地要求

f(x1,…,xn)=∏i=1nfi(xi)f(x_1,\ldots,x_n)=\prod_{i=1}^{n}f_i(x_i)

几乎处处成立;离散型要求每个格点的联合分布律等于各边缘分布律之积。取 n=2n=2 就是两个随机变量相互独立的定义。

这里的判定式与3.4完全同形,只是变量个数增加;连续型还要把密度写成 nn 个边缘密度的乘积。

多元正态分布

若 X\boldsymbol X 的任意线性组合 ∑iaiXi\sum_i a_iX_i 都是正态变量或常数,则称 X\boldsymbol X 服从多元正态分布,记作

X∼Nn(μ,Σ),\boldsymbol X\sim N_n(\boldsymbol\mu,\Sigma),

其中 μ=(EX1,…,EXn)T\boldsymbol\mu=(E X_1,\ldots,E X_n)^{\mathsf T} 是均值向量,Σ=(Cov⁡(Xi,Xj))n×n\Sigma=\bigl(\operatorname{Cov}(X_i,X_j)\bigr)_{n\times n} 是协方差矩阵。

对二维非退化情形,设 σ1,σ2>0\sigma_1,\sigma_2>0、∣ρ∣<1|\rho|<1,联合密度为

12πσ1σ21−ρ2exp⁡(−12(1−ρ2)[(x−μ1)2σ12−2ρ(x−μ1)(y−μ2)σ1σ2+(y−μ2)2σ22]).\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)} \left[ \frac{(x-\mu_1)^2}{\sigma_1^2} -2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2} +\frac{(y-\mu_2)^2}{\sigma_2^2} \right]\right).

此时两个边缘分布都是正态分布,条件分布也是正态分布:

X∣Y=y∼N(μ1+ρσ1σ2(y−μ2), σ12(1−ρ2)).X\mid Y=y\sim N\left(\mu_1+\rho\frac{\sigma_1}{\sigma_2}(y-\mu_2),\ \sigma_1^2(1-\rho^2)\right).

条件均值关于 yy 是线性的,条件方差与 yy 无关,只与 ρ\rho 和 σ12\sigma_1^2 有关。

3.6用 Nn(μ,Σ)N_n(\boldsymbol\mu,\Sigma) 记多元正态,4.4再把 Σ\Sigma 展开成协方差矩阵;两处记号从此统一,后面统计推断沿用同一写法。

学习安排

第3章先用一节建立二维随机变量,随后依次讨论边缘分布、条件分布、独立性,以及二维随机变量函数的分布,这些内容都在二维框架内展开。3.6把前面几节的结论推广到 nn 维:联合分布、边缘分布、条件分布、独立性、独立变量和的分布逐项对应,多重积分和多变量求和替代二重情形。

因此复习时按“二维结论 → n维写法”对照,比重新背一遍n维公式省力。多元正态是推广中最需要单独交代的对象:二维非退化时密度可以写出,n维时改用均值向量与协方差矩阵刻画。

数字特征部分会把 Nn(μ,Σ)N_n(\boldsymbol\mu,\Sigma) 中的 Σ\Sigma 展开成协方差矩阵,后面的协方差与协方差矩阵沿用这里的记号。

课程约定

  • 随机向量写成列向量 X=(X1,…,Xn)T\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T};联合分布函数记 F(x1,…,xn)F(x_1,\ldots,x_n),边缘分布函数、边缘密度带下标,如 FiF_i、fif_i。
  • 教材以“联合分布函数等于各边缘分布函数之积”作为相互独立的定义,连续型再改写为密度几乎处处分解。
  • 多元正态记作 Nn(μ,Σ)N_n(\boldsymbol\mu,\Sigma);只有 σ1,σ2>0\sigma_1,\sigma_2>0、∣ρ∣<1|\rho|<1 时才写出二维密度。

重点

  • 独立变量和的三个结论(二项、泊松、正态的线性组合)在本章之后反复使用,其中正态的线性组合结论是后面极限定理计算的基础。
  • 判断n个变量是否相互独立,先看联合分布函数能否分解为各边缘分布函数之积;连续型再检查密度是否几乎处处分解。
  • 多元正态的两条性质要能复述:两两不相关即相互独立;边缘为正态不能推出联合正态。

易错点

  • 两两独立不能推出相互独立。涉及多个变量的乘积分解、卷积或样本联合密度时,都要先确认相互独立。
  • 二项分布的可加性要求成功概率相同;pp 不同时和一般不再是二项分布,也不能把两个 pp 取平均。
  • 正态变量的线性组合要求方差之和非零,否则和是常数;“两两不相关即独立”只在联合正态下成立。
  • ∣ρ∣=1|\rho|=1 时协方差矩阵退化,(X,Y)(X,Y) 落在一条直线上,二维密度与条件密度公式都不适用。
  • 密度比公式要求分母处的边缘密度为正;密度为零的点上不能直接使用这个比值。

复习要点

推广到n维时容易只抄公式而漏条件。复习时对每条结论都写出“独立性要求 + 参数条件”,再核对一遍:二项要同 pp,泊松只要求独立,正态要检查方差之和是否为零。