# 协方差矩阵

## 定义

设 $\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}$，每个分量的二阶矩都有限。定义**均值向量**与**协方差矩阵**

$$
\boldsymbol\mu=E(\boldsymbol X),\qquad
\Sigma=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr].
$$

按分量写，$\mu_i=E(X_i)$，且

$$
\Sigma_{ij}=\operatorname{Cov}(X_i,X_j),\qquad i,j=1,\ldots,n.
$$

所以 $\Sigma$ 是一个 $n\times n$ 矩阵：对角元 $\Sigma_{ii}=D(X_i)$ 是各分量的方差，非对角元是两两协方差。协方差矩阵概括 $n$ 个变量的两两协方差，记法与[多元正态分布](/knowledge/maths/probability/multivariate-normal/) $N_n(\boldsymbol\mu,\Sigma)$ 的写法一致。

## 性质

### 对称与半正定

协方差矩阵满足

$$
\Sigma^{\mathsf T}=\Sigma,
$$

且对任意 $\boldsymbol a\in\mathbb R^n$，

$$
\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a\ge0.
$$

也就是说，$\Sigma$ 是对称半正定矩阵。

**证明**

对称性来自

$$
\Sigma^{\mathsf T}
=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr]^{\mathsf T}
=E\bigl[(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\bigr]
=\Sigma.
$$

对半正定性，注意 $\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)$ 是随机变量，于是

$$
\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a
=E\bigl[\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}\boldsymbol a\bigr]
=E\bigl[\bigl(\boldsymbol a^{\mathsf T}(\boldsymbol X-\boldsymbol\mu)\bigr)^2\bigr]
=D(\boldsymbol a^{\mathsf T}\boldsymbol X)\ge0.
$$

$\Sigma$ 只能保证半正定，不一定正定：只要存在非零向量 $\boldsymbol a$ 使 $D(\boldsymbol a^{\mathsf T}\boldsymbol X)=0$，$\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a$ 就等于零，此时 $\Sigma$ 退化。

### 对角矩阵与不相关

$\Sigma$ 为对角矩阵，当且仅当各分量两两不相关。对角矩阵一般**不能**推出各分量相互独立；只有联合正态等额外条件成立时，不相关才等价于独立。

### 线性变换

若 $\boldsymbol Y=A\boldsymbol X+\boldsymbol b$，其中 $A$ 是常数矩阵、$\boldsymbol b$ 是常数向量，则

$$
E(\boldsymbol Y)=A\boldsymbol\mu+\boldsymbol b,\qquad
\Sigma_Y=A\Sigma_XA^{\mathsf T}.
$$

**证明**

期望的线性性给出 $E(\boldsymbol Y)=AE(\boldsymbol X)+\boldsymbol b=A\boldsymbol\mu+\boldsymbol b$。又

$$
\boldsymbol Y-E(\boldsymbol Y)=A(\boldsymbol X-\boldsymbol\mu),
$$

所以

$$
\Sigma_Y=E\bigl[A(\boldsymbol X-\boldsymbol\mu)(\boldsymbol X-\boldsymbol\mu)^{\mathsf T}A^{\mathsf T}\bigr]
=A\Sigma_XA^{\mathsf T}.
$$

取 $A=\boldsymbol a^{\mathsf T}$、$\boldsymbol b=0$，得到线性组合的方差

$$
D(\boldsymbol a^{\mathsf T}\boldsymbol X)=\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a.
$$

这就是一维公式 $D\left(\sum_i a_iX_i\right)=\sum_i\sum_j a_ia_j\operatorname{Cov}(X_i,X_j)$ 的矩阵写法。代入时检查 $A$ 与 $\Sigma$ 的维数以及转置的位置，$A\Sigma A^{\mathsf T}$ 和 $A^{\mathsf T}\Sigma A$ 一般不相等。

## 例子

**由协方差矩阵计算线性组合的方差**

设

$$
\Sigma=\begin{pmatrix}4&1\\1&9\end{pmatrix},
$$

求 $D(2X_1-X_2)$。取 $\boldsymbol a=(2,-1)^{\mathsf T}$，则

$$
D(2X_1-X_2)=\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a
=2^2\times4+(-1)^2\times9+2\times2\times(-1)\times1
=16+9-4=21.
$$

对角项按系数的平方加权，交叉项要乘 $2a_1a_2$，这里的交叉项为负，所以结果小于 $16+9$。

## 交互探索

改变协方差和线性组合系数，计算相应的二次型。

交互演示：协方差矩阵怎样决定线性组合的方差？。改变协方差与线性组合系数，计算对应的二次型。 请在站点操作演示。

## 练习

1. 设 $\Sigma=\begin{pmatrix}4&1\\1&9\end{pmatrix}$，$\boldsymbol a=(1,2)^{\mathsf T}$，则 $\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a=$ \_\_\_\_\_\_（quadratic-form-value）。

   答案：44

   逐项展开：$1^2\times4+2^2\times9+2\times1\times2\times1=4+36+4=44$。

2. 设 $\Sigma$ 是随机向量 $\boldsymbol X$ 的协方差矩阵。下列叙述正确的是

   * A.  $\Sigma$ 一定是对称正定矩阵
   * B.  $\Sigma$ 为对角矩阵时，各分量相互独立
   * C.  对任意向量 $\boldsymbol a$，$\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a=D(\boldsymbol a^{\mathsf T}\boldsymbol X)$
   * D.  若 $\boldsymbol Y=A\boldsymbol X+\boldsymbol b$，则 $\Sigma_Y=A^{\mathsf T}\Sigma_XA$

   答案：C

   二次型就是线性组合的方差，这一条对任意向量成立。$\Sigma$ 只保证半正定，可能退化，所以A错；对角只说明两两不相关，一般不推出独立，所以B错；线性变换的协方差矩阵是 $A\Sigma_XA^{\mathsf T}$，转置位置不对，所以D错。