协方差矩阵

设 $\boldsymbol X=(X_1,\ldots,X_n)^{\mathsf T}$，每个分量的二阶矩都有限。定义均值向量与协方差矩阵

按分量写，$\mu_i=E(X_i)$，且

所以 $\Sigma$ 是一个 $n\times n$ 矩阵：对角元 $\Sigma_{ii}=D(X_i)$ 是各分量的方差，非对角元是两两协方差。协方差矩阵概括 $n$ 个变量的两两协方差，记法与多元正态分布 $N_n(\boldsymbol\mu,\Sigma)$ 的写法一致。

协方差矩阵满足

且对任意 $\boldsymbol a\in\mathbb R^n$，

也就是说，$\Sigma$ 是对称半正定矩阵。

$\Sigma$ 只能保证半正定，不一定正定：只要存在非零向量 $\boldsymbol a$ 使 $D(\boldsymbol a^{\mathsf T}\boldsymbol X)=0$，$\boldsymbol a^{\mathsf T}\Sigma\boldsymbol a$ 就等于零，此时 $\Sigma$ 退化。

$\Sigma$ 为对角矩阵，当且仅当各分量两两不相关。对角矩阵一般不能推出各分量相互独立；只有联合正态等额外条件成立时，不相关才等价于独立。

若 $\boldsymbol Y=A\boldsymbol X+\boldsymbol b$，其中 $A$ 是常数矩阵、$\boldsymbol b$ 是常数向量，则

取 $A=\boldsymbol a^{\mathsf T}$、$\boldsymbol b=0$，得到线性组合的方差

这就是一维公式 $D\left(\sum_i a_iX_i\right)=\sum_i\sum_j a_ia_j\operatorname{Cov}(X_i,X_j)$ 的矩阵写法。代入时检查 $A$ 与 $\Sigma$ 的维数以及转置的位置，$A\Sigma A^{\mathsf T}$ 和 $A^{\mathsf T}\Sigma A$ 一般不相等。

改变协方差和线性组合系数，计算相应的二次型。