Learning Notes.
返回上级
课程笔记

4.4矩与协方差矩阵

11 分钟阅读

阅读入口

原点矩与中心矩

当 E(∣X∣k)<+∞E(|X|^k)<+\infty 时，称

μk′=E(Xk)\mu_k'=E(X^k)

为 XX 的 kk 阶原点矩，称

μk=E[(X−E(X))k]\mu_k=E\bigl[(X-E(X))^k\bigr]

为 XX 的 kk 阶中心矩。一阶、二阶矩是最常用的：

μ1′=E(X),μ1=0,μ2=D(X).\mu_1'=E(X),\qquad \mu_1=0,\qquad \mu_2=D(X).

由二项式展开，中心矩可以用原点矩换算。常用的两条是

μ2=μ2′−(μ1′)2,\mu_2=\mu_2'-(\mu_1')^2,μ3=μ3′−3μ1′μ2′+2(μ1′)3.\mu_3=\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3.
证明

记 μ=μ1′\mu=\mu_1'。由期望的线性性质，

E[(X−μ)2]=E(X2)−2μE(X)+μ2=μ2′−(μ1′)2,E\bigl[(X-\mu)^2\bigr]=E(X^2)-2\mu E(X)+\mu^2=\mu_2'-(\mu_1')^2,E[(X−μ)3]=E(X3)−3μE(X2)+3μ2E(X)−μ3=μ3′−3μ1′μ2′+3(μ1′)3−(μ1′)3=μ3′−3μ1′μ2′+2(μ1′)3.\begin{aligned} E\bigl[(X-\mu)^3\bigr] &=E(X^3)-3\mu E(X^2)+3\mu^2E(X)-\mu^3\\ &=\mu_3'-3\mu_1'\mu_2'+3(\mu_1')^3-(\mu_1')^3 =\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3. \end{aligned}

三阶中心矩反映分布偏斜的方向。当 σ>0\sigma>0 时，把它标准化，得到偏度

γ1=μ3σ3,\gamma_1=\frac{\mu_3}{\sigma^3},

其中 σ=D(X)\sigma=\sqrt{D(X)}。四阶中心矩用于衡量尾部的厚重程度，常用的指标是超额峰度

γ2=μ4σ4−3.\gamma_2=\frac{\mu_4}{\sigma^4}-3.

正态分布的超额峰度为 00。若把 μ4/σ4\mu_4/\sigma^4 定义为峰度，则正态分布的峰度为 33；使用前要先看清采用哪一种定义。

混合矩

对二维随机变量 (X,Y)(X,Y)，称 E(XkYl)E(X^kY^l) 为 k+lk+l 阶混合原点矩，称

E[(X−E(X))k(Y−E(Y))l]E\bigl[(X-E(X))^k(Y-E(Y))^l\bigr]

为 k+lk+l 阶混合中心矩。取 k=l=1k=l=1，混合中心矩就是协方差

Cov⁡(X,Y)=E[(X−E(X))(Y−E(Y))].\operatorname{Cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr].

计算混合矩必须使用联合分布，对联合分布律求和或对联合密度积分。只有 XX 与 YY 独立时才能把 E(XkYl)E(X^kY^l) 拆成 E(Xk)E(Yl)E(X^k)E(Y^l)；缺少独立性时不能拆开。

来源：矩

原点矩以 00 为基准，中心矩以 E(X)E(X) 为基准；二阶中心矩就是4.2的方差，所以4.2的公式在这里只是换了记号。

协方差矩阵的性质

设 X=(X1,…,Xn)T\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}，每个分量的二阶矩都有限。定义均值向量与协方差矩阵

μ=E(X),Σ=E[(X−μ)(X−μ)T].\boldsymbol\mu=E(\boldsymbol X),\qquad \Sigma=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr].

按分量写，μi=E(Xi)\mu_i=E(X_i)，且

Σij=Cov⁡(Xi,Xj),i,j=1,…,n.\Sigma_{ij}=\operatorname{Cov}(X_i,X_j),\qquad i,j=1,\ldots,n.

所以 Σ\Sigma 是一个 n×nn\times n 矩阵：对角元 Σii=D(Xi)\Sigma_{ii}=D(X_i) 是各分量的方差，非对角元是两两协方差。协方差矩阵概括 nn 个变量的两两协方差，记法与多元正态分布 Nn(μ,Σ)N_n(\boldsymbol\mu,\Sigma) 的写法一致。

来源：协方差矩阵

对称与半正定

协方差矩阵满足

ΣT=Σ,\Sigma^{\mathsf T}=\Sigma,

且对任意 a∈Rn\boldsymbol a\in\mathbb R^n，

aTΣa≥0.\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a\ge0.

也就是说，Σ\Sigma 是对称半正定矩阵。

证明

对称性来自

ΣT=E[(X−μ)(X−μ)T]T=E[(X−μ)(X−μ)T]=Σ.\Sigma^{\mathsf T} =E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr]^{\mathsf T} =E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr] =\Sigma.

对半正定性，注意 aT(X−μ)\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu) 是随机变量，于是

aTΣa=E[aT(X−μ)(X−μ)Ta]=E[(aT(X−μ))2]=D(aTX)≥0.\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a =E\bigl[\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\boldsymbol a\bigr] =E\bigl[\bigl(\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)\bigr)^2\bigr] =D(\boldsymbol a^{\mathsf T}\boldsymbol X)\ge0.

Σ\Sigma 只能保证半正定，不一定正定：只要存在非零向量 a\boldsymbol a 使 D(aTX)=0D(\boldsymbol a^{\mathsf T}\boldsymbol X)=0，aTΣa\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a 就等于零，此时 Σ\Sigma 退化。

对角矩阵与不相关

Σ\Sigma 为对角矩阵，当且仅当各分量两两不相关。对角矩阵一般不能推出各分量相互独立；只有联合正态等额外条件成立时，不相关才等价于独立。

线性变换

若 Y=AX+b\boldsymbol Y=A\boldsymbol X+\boldsymbol b，其中 AA 是常数矩阵、b\boldsymbol b 是常数向量，则

E(Y)=Aμ+b,ΣY=AΣXAT.E(\boldsymbol Y)=A\boldsymbol\mu+\boldsymbol b,\qquad \Sigma_Y=A\Sigma_XA^{\mathsf T}.
证明

期望的线性性给出 E(Y)=AE(X)+b=Aμ+bE(\boldsymbol Y)=AE(\boldsymbol X)+\boldsymbol b=A\boldsymbol\mu+\boldsymbol b。又

Y−E(Y)=A(X−μ),\boldsymbol Y-E(\boldsymbol Y)=A(\boldsymbol X-\boldsymbol\mu),

所以

ΣY=E[A(X−μ)(X−μ)TAT]=AΣXAT.\Sigma_Y=E\bigl[A(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}A^{\mathsf T}\bigr] =A\Sigma_XA^{\mathsf T}.

取 A=aTA=\boldsymbol a^{\mathsf T}、b=0\boldsymbol b=0，得到线性组合的方差

D(aTX)=aTΣa.D(\boldsymbol a^{\mathsf T}\boldsymbol X)=\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a.

这就是一维公式 D(∑iaiXi)=∑i∑jaiajCov⁡(Xi,Xj)D\left(\sum_i a_iX_i\right)=\sum_i\sum_j a_ia_j\operatorname{Cov}(X_i,X_j) 的矩阵写法。代入时检查 AA 与 Σ\Sigma 的维数以及转置的位置，AΣATA\Sigma A^{\mathsf T} 和 ATΣAA^{\mathsf T}\Sigma A 一般不相等。

来源：协方差矩阵

这一节把 μk′\mu_k'、μk\mu_k 与 Σij\Sigma_{ij} 收进同一套记号；代矩阵公式前先核对 AA 的列数与 Σ\Sigma 的阶数，是本章最后一次集中检查。

学习安排

4.4是第4章的最后一节，把前面逐个定义的期望、方差、协方差收进同一套记号：一维用原点矩与中心矩，多维用均值向量与协方差矩阵。读完4.2、4.3再读这一节，重点是看清矩阵公式只是已有公式的紧凑写法，而不是新的计算规则。

3.6已经用 Nn(μ,Σ)N_n(\boldsymbol\mu,\Sigma) 记多元正态分布，这一节把 μ\boldsymbol\mu 和 Σ\Sigma 展开成均值向量与协方差矩阵，两处的记号从此统一。后面统计推断中出现的协方差矩阵都沿用这里的定义。

课程约定

  • 原点矩记 μk′=E(Xk)\mu_k'=E(X^k)，中心矩记 μk=E[(X−E(X))k]\mu_k=E[(X-E(X))^k]，两者用撇号区分，不能混写。
  • 偏度用 γ1=μ3/σ3\gamma_1=\mu_3/\sigma^3；超额峰度用 γ2=μ4/σ4−3\gamma_2=\mu_4/\sigma^4-3，正态分布的值为 00。教材若直接称“峰度”，数值是超额峰度加 33。
  • 随机向量写成列向量 X=(X1,…,Xn)T\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}，均值向量记 μ\boldsymbol\mu，协方差矩阵记 Σ\Sigma，Σij=Cov⁡(Xi,Xj)\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)。
  • 线性变换统一写成 Y=AX+b\boldsymbol Y=A\boldsymbol X+\boldsymbol b，协方差矩阵随之变为 AΣXATA\Sigma_XA^{\mathsf T}。

重点

  • 二阶中心矩就是方差，三阶中心矩用 μ3′−3μ1′μ2′+2(μ1′)3\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3 换算。
  • 混合矩必须回到联合分布计算，只有独立时才能把 E(XkYl)E(X^kY^l) 拆开。
  • 协方差矩阵对角元是方差、非对角元是协方差；它对称且半正定，但不一定正定。
  • 线性组合的方差 aTΣa\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a 是代入计算时最常用的一条。

易错点

  • 把 μ2\mu_2 写成 μ2′\mu_2'。二阶中心矩要减去期望的平方，μ2=μ2′−(μ1′)2\mu_2=\mu_2'-(\mu_1')^2。
  • 三阶中心矩换算时漏项或符号写错；按二项式展开逐项核对，最后一项系数是 22。
  • 把“峰度”和“超额峰度”混用，导致正态分布一会儿是 00、一会儿是 33。
  • 认为协方差矩阵一定正定。只要存在非零方向上的方差为零，矩阵就退化，只能保证半正定。
  • 看到协方差矩阵是对角矩阵就断言各分量独立；对角只说明两两不相关。
  • 线性变换写成 ATΣAA^{\mathsf T}\Sigma A 或漏掉转置。代入前先核对 AA 的列数是否等于 Σ\Sigma 的阶数。

复习要点

计算 aTΣa\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a 时按“对角项乘系数平方、交叉项乘 2aiaj2a_ia_j”展开，可以避免漏掉交叉项；得到结果后再用矩阵乘法复核一遍维数。复习这一节时把4.2的方差公式和4.3的协方差双线性展开并排对照，矩阵公式中的每一项都能对应回一维情形。