# 4.4矩与协方差矩阵

## 阅读入口

* [矩](/knowledge/maths/probability/moments-covariance-matrix/)
* [n维随机变量](/knowledge/maths/probability/random-vector/)
* [协方差](/knowledge/maths/probability/covariance-correlation/)
* [方差](/knowledge/maths/probability/variance/)

## 原点矩与中心矩

当 $E(|X|^k)<+\infty$ 时，称

$$
\mu_k'=E(X^k)
$$

为 $X$ 的 **$k$ 阶原点矩**，称

$$
\mu_k=E\bigl[(X-E(X))^k\bigr]
$$

为 $X$ 的 **$k$ 阶中心矩**。一阶、二阶矩是最常用的：

$$
\mu_1'=E(X),\qquad \mu_1=0,\qquad \mu_2=D(X).
$$

由二项式展开，中心矩可以用原点矩换算。常用的两条是

$$
\mu_2=\mu_2'-(\mu_1')^2,
$$

$$
\mu_3=\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3.
$$

**证明**

记 $\mu=\mu_1'$。由期望的线性性质，

$$
E\bigl[(X-\mu)^2\bigr]=E(X^2)-2\mu E(X)+\mu^2=\mu_2'-(\mu_1')^2,
$$

$$
\begin{aligned}
E\bigl[(X-\mu)^3\bigr]
&=E(X^3)-3\mu E(X^2)+3\mu^2E(X)-\mu^3\\
&=\mu_3'-3\mu_1'\mu_2'+3(\mu_1')^3-(\mu_1')^3
=\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3.
\end{aligned}
$$

三阶中心矩反映分布偏斜的方向。当 $\sigma>0$ 时，把它标准化，得到**偏度**

$$
\gamma_1=\frac{\mu_3}{\sigma^3},
$$

其中 $\sigma=\sqrt{D(X)}$。四阶中心矩用于衡量尾部的厚重程度，常用的指标是**超额峰度**

$$
\gamma_2=\frac{\mu_4}{\sigma^4}-3.
$$

正态分布的超额峰度为 $0$。若把 $\mu_4/\sigma^4$ 定义为峰度，则正态分布的峰度为 $3$；使用前要先看清采用哪一种定义。

### 混合矩

对二维随机变量 $(X,Y)$，称 $E(X^kY^l)$ 为 **$k+l$ 阶混合原点矩**，称

$$
E\bigl[(X-E(X))^k(Y-E(Y))^l\bigr]
$$

为 **$k+l$ 阶混合中心矩**。取 $k=l=1$，混合中心矩就是协方差

$$
\operatorname{Cov}(X,Y)=E\bigl[(X-E(X))(Y-E(Y))\bigr].
$$

计算混合矩必须使用联合分布，对联合分布律求和或对联合密度积分。只有 $X$ 与 $Y$ 独立时才能把 $E(X^kY^l)$ 拆成 $E(X^k)E(Y^l)$；缺少独立性时不能拆开。

[来源：矩](/knowledge/maths/probability/moments-covariance-matrix/#definition)

原点矩以 $0$ 为基准，中心矩以 $E(X)$ 为基准；二阶中心矩就是4.2的方差，所以4.2的公式在这里只是换了记号。

## 协方差矩阵的性质

设 $\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}$，每个分量的二阶矩都有限。定义**均值向量**与**协方差矩阵**

$$
\boldsymbol\mu=E(\boldsymbol X),\qquad
\Sigma=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr].
$$

按分量写，$\mu_i=E(X_i)$，且

$$
\Sigma_{ij}=\operatorname{Cov}(X_i,X_j),\qquad i,j=1,\ldots,n.
$$

所以 $\Sigma$ 是一个 $n\times n$ 矩阵：对角元 $\Sigma_{ii}=D(X_i)$ 是各分量的方差，非对角元是两两协方差。协方差矩阵概括 $n$ 个变量的两两协方差，记法与[多元正态分布](/knowledge/maths/probability/multivariate-normal/) $N_n(\boldsymbol\mu,\Sigma)$ 的写法一致。

[来源：协方差矩阵](/knowledge/maths/probability/covariance-matrix/#definition)

### 对称与半正定

协方差矩阵满足

$$
\Sigma^{\mathsf T}=\Sigma,
$$

且对任意 $\boldsymbol a\in\mathbb R^n$，

$$
\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a\ge0.
$$

也就是说，$\Sigma$ 是对称半正定矩阵。

**证明**

对称性来自

$$
\Sigma^{\mathsf T}
=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr]^{\mathsf T}
=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr]
=\Sigma.
$$

对半正定性，注意 $\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)$ 是随机变量，于是

$$
\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a
=E\bigl[\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\boldsymbol a\bigr]
=E\bigl[\bigl(\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)\bigr)^2\bigr]
=D(\boldsymbol a^{\mathsf T}\boldsymbol X)\ge0.
$$

$\Sigma$ 只能保证半正定，不一定正定：只要存在非零向量 $\boldsymbol a$ 使 $D(\boldsymbol a^{\mathsf T}\boldsymbol X)=0$，$\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a$ 就等于零，此时 $\Sigma$ 退化。

### 对角矩阵与不相关

$\Sigma$ 为对角矩阵，当且仅当各分量两两不相关。对角矩阵一般**不能**推出各分量相互独立；只有联合正态等额外条件成立时，不相关才等价于独立。

### 线性变换

若 $\boldsymbol Y=A\boldsymbol X+\boldsymbol b$，其中 $A$ 是常数矩阵、$\boldsymbol b$ 是常数向量，则

$$
E(\boldsymbol Y)=A\boldsymbol\mu+\boldsymbol b,\qquad
\Sigma_Y=A\Sigma_XA^{\mathsf T}.
$$

**证明**

期望的线性性给出 $E(\boldsymbol Y)=AE(\boldsymbol X)+\boldsymbol b=A\boldsymbol\mu+\boldsymbol b$。又

$$
\boldsymbol Y-E(\boldsymbol Y)=A(\boldsymbol X-\boldsymbol\mu),
$$

所以

$$
\Sigma_Y=E\bigl[A(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}A^{\mathsf T}\bigr]
=A\Sigma_XA^{\mathsf T}.
$$

取 $A=\boldsymbol a^{\mathsf T}$、$\boldsymbol b=0$，得到线性组合的方差

$$
D(\boldsymbol a^{\mathsf T}\boldsymbol X)=\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a.
$$

这就是一维公式 $D\left(\sum_i a_iX_i\right)=\sum_i\sum_j a_ia_j\operatorname{Cov}(X_i,X_j)$ 的矩阵写法。代入时检查 $A$ 与 $\Sigma$ 的维数以及转置的位置，$A\Sigma A^{\mathsf T}$ 和 $A^{\mathsf T}\Sigma A$ 一般不相等。

[来源：协方差矩阵](/knowledge/maths/probability/covariance-matrix/#properties)

这一节把 $\mu_k'$、$\mu_k$ 与 $\Sigma_{ij}$ 收进同一套记号；代矩阵公式前先核对 $A$ 的列数与 $\Sigma$ 的阶数，是本章最后一次集中检查。

## 学习安排

4.4是第4章的最后一节，把前面逐个定义的期望、方差、协方差收进同一套记号：一维用原点矩与中心矩，多维用均值向量与协方差矩阵。读完4.2、4.3再读这一节，重点是看清矩阵公式只是已有公式的紧凑写法，而不是新的计算规则。

3.6已经用 $N_n(\boldsymbol\mu,\Sigma)$ 记多元正态分布，这一节把 $\boldsymbol\mu$ 和 $\Sigma$ 展开成均值向量与协方差矩阵，两处的记号从此统一。后面统计推断中出现的协方差矩阵都沿用这里的定义。

## 课程约定

* 原点矩记 $\mu_k'=E(X^k)$，中心矩记 $\mu_k=E[(X-E(X))^k]$，两者用撇号区分，不能混写。
* 偏度用 $\gamma_1=\mu_3/\sigma^3$；超额峰度用 $\gamma_2=\mu_4/\sigma^4-3$，正态分布的值为 $0$。教材若直接称“峰度”，数值是超额峰度加 $3$。
* 随机向量写成列向量 $\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}$，均值向量记 $\boldsymbol\mu$，协方差矩阵记 $\Sigma$，$\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)$。
* 线性变换统一写成 $\boldsymbol Y=A\boldsymbol X+\boldsymbol b$，协方差矩阵随之变为 $A\Sigma_XA^{\mathsf T}$。

## 重点

* 二阶中心矩就是方差，三阶中心矩用 $\mu_3'-3\mu_1'\mu_2'+2(\mu_1')^3$ 换算。
* 混合矩必须回到联合分布计算，只有独立时才能把 $E(X^kY^l)$ 拆开。
* 协方差矩阵对角元是方差、非对角元是协方差；它对称且半正定，但不一定正定。
* 线性组合的方差 $\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a$ 是代入计算时最常用的一条。

## 易错点

* 把 $\mu_2$ 写成 $\mu_2'$。二阶中心矩要减去期望的平方，$\mu_2=\mu_2'-(\mu_1')^2$。
* 三阶中心矩换算时漏项或符号写错；按二项式展开逐项核对，最后一项系数是 $2$。
* 把“峰度”和“超额峰度”混用，导致正态分布一会儿是 $0$、一会儿是 $3$。
* 认为协方差矩阵一定正定。只要存在非零方向上的方差为零，矩阵就退化，只能保证半正定。
* 看到协方差矩阵是对角矩阵就断言各分量独立；对角只说明两两不相关。
* 线性变换写成 $A^{\mathsf T}\Sigma A$ 或漏掉转置。代入前先核对 $A$ 的列数是否等于 $\Sigma$ 的阶数。

## 复习要点

计算 $\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a$ 时按“对角项乘系数平方、交叉项乘 $2a_ia_j$”展开，可以避免漏掉交叉项；得到结果后再用矩阵乘法复核一遍维数。复习这一节时把4.2的方差公式和4.3的协方差双线性展开并排对照，矩阵公式中的每一项都能对应回一维情形。