# 4.3协方差与相关系数

## 阅读入口

* [协方差](/knowledge/maths/probability/covariance-correlation/)
* [方差](/knowledge/maths/probability/variance/)
* [数学期望](/knowledge/maths/probability/expectation/)
* [随机变量的独立性](/knowledge/maths/probability/random-variable-independence/)

## 协方差的定义

设 $X$、$Y$ 的二阶矩有限，记 $\mu_X=E(X)$、$\mu_Y=E(Y)$。称

$$
\operatorname{Cov}(X,Y)=E\bigl[(X-\mu_X)(Y-\mu_Y)\bigr]
$$

为 $X$ 与 $Y$ 的**协方差**。把乘积展开，得到等价的常用公式

$$
\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y).
$$

协方差的符号说明偏离均值的方向：

* 取正值时，两个变量偏离均值的方向倾向于一致；
* 取负值时，偏离方向倾向于相反；
* 取零时称 $X$ 与 $Y$ **不相关**，这只表示没有这种线性关联，不排除其它形式的关系。

协方差带有计量单位，数值大小会随单位改变，不能直接用它的绝对值比较不同变量之间关联的强弱。例如两个长度变量都从米改成厘米，协方差会放大 $10000$ 倍，关联本身并没有变强。

[来源：协方差](/knowledge/maths/probability/covariance-correlation/#definition)

本课程把 $\operatorname{Cov}(X,Y)$ 与 $D(X)$ 并排使用，4.4再把它们排进同一个协方差矩阵。

## 协方差的性质

### 对称性与方差

$$
\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X),\qquad
\operatorname{Cov}(X,X)=D(X).
$$

第一条由定义中两个因子的对称性直接得到；第二条中两个因子相同，就是方差的定义（见[方差](/knowledge/maths/probability/variance/)）。

### 仿射变换与双线性

$$
\operatorname{Cov}(aX+b,cY+d)=ac\operatorname{Cov}(X,Y).
$$

**证明**

变换后的均值分别为 $aE(X)+b$ 与 $cE(Y)+d$，两个偏差分别为 $a(X-E(X))$ 与 $c(Y-E(Y))$，相乘后把常数 $ac$ 提到期望外面即可。

协方差对两个位置分别具有线性性，因此对有限线性组合可以逐项展开：

$$
\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right)
=\sum_i\sum_j a_ib_j\operatorname{Cov}(X_i,Y_j).
$$

特别地，$\operatorname{Cov}(X+Y,Z)=\operatorname{Cov}(X,Z)+\operatorname{Cov}(Y,Z)$。展开时两个位置都要分配，不能只乘到其中一边。

**和与差的协方差**

设 $X$、$Y$ 独立，且 $D(X)=D(Y)=\sigma^2$。令 $U=X+Y$，$V=X-Y$。由双线性并利用独立性，

$$
\operatorname{Cov}(U,V)
=\operatorname{Cov}(X,X)-\operatorname{Cov}(X,Y)
+\operatorname{Cov}(Y,X)-\operatorname{Cov}(Y,Y)
=\sigma^2-0+0-\sigma^2=0.
$$

所以 $U$ 与 $V$ 不相关。这里只能得到不相关，不能直接断言独立：$U$ 与 $V$ 都由 $X$、$Y$ 决定。若额外已知 $(X,Y)$ 服从二维正态分布，则 $(U,V)$ 也服从二维正态分布，此时才能由不相关推出独立。

### 不相关与独立

独立一定不相关：独立时 $E(XY)=E(X)E(Y)$，协方差为零。反过来一般不成立。取 $X\sim U[-1,1]$，$Y=X^2$，则 $E(X)=0$，

$$
E(XY)=E(X^3)=\int_{-1}^{1}\frac{x^3}{2}\,\mathrm dx=0,
$$

所以 $\operatorname{Cov}(X,Y)=0$，两者不相关；但 $Y$ 完全由 $X$ 决定，显然不独立。事件层面的验证见[随机变量的独立性](/knowledge/maths/probability/random-variable-independence/)。

> [!TIP]
> **联合正态是常用的例外**
>
> 若 $(X,Y)$ 服从二维正态分布，则不相关与独立等价。只已知两个边缘分布都是正态还不够，必须要求联合分布是二维正态。

[来源：协方差](/knowledge/maths/probability/covariance-correlation/#properties)

协方差与方差共用同一套期望记号，本课程把 $\operatorname{Cov}(X,X)=D(X)$ 当作两条公式之间的接口。

## 相关系数

当 $D(X)>0$、$D(Y)>0$ 时，定义

$$
\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}.
$$

[来源：相关系数](/knowledge/maths/probability/correlation-coefficient/#definition)

由柯西—施瓦茨不等式，

$$
|\operatorname{Cov}(X,Y)|\le\sqrt{D(X)D(Y)},
$$

所以

$$
-1\le\rho_{XY}\le1.
$$

**证明**

设 $D(Y)>0$。对任意实数 $t$，

$$
D(X+tY)=D(X)+2t\operatorname{Cov}(X,Y)+t^2D(Y)\ge0.
$$

这是关于 $t$ 的非负二次函数，判别式不大于零，即

$$
4\operatorname{Cov}(X,Y)^2-4D(X)D(Y)\le0,
$$

也就是 $|\operatorname{Cov}(X,Y)|\le\sqrt{D(X)D(Y)}$。若 $D(Y)=0$，则 $Y$ 几乎必然是常数，协方差为零，不等式同样成立。

$|\rho|$ 越接近 $1$，线性关联越强；越接近 $0$，线性关联越弱。$\rho=0$ 只说明不相关，不能据此排除曲线形式的关系。$|\rho|=1$ 当且仅当存在 $a\ne0$ 与 $b$，使

$$
P\{Y=aX+b\}=1,
$$

即两个变量以概率一落在一条非水平直线上；$a$ 的符号决定 $\rho$ 的符号。理由是不等式取等号时判别式为零，存在 $t_0$ 使 $D(X+t_0Y)=0$，于是 $X+t_0Y$ 几乎必然是常数，移项即得线性关系；反过来把 $Y=aX+b$ 代入相关系数的定义，也能直接算出 $|\rho|=1$。

相关系数对平移和正数倍缩放不变，对负数倍缩放改变符号：

$$
\rho_{aX+b,cY+d}=\operatorname{sgn}(ac)\,\rho_{XY}\qquad(ac\ne0),
$$

其中 $\operatorname{sgn}$ 是符号函数，取值为 $1$、$-1$ 或 $0$。

若某个变量的方差为零，分母为零，相关系数没有定义，不能说它等于零。

> [!WARNING]
> **分母不能为零**
>
> 常数变量的方差为 $0$，它与任何变量的协方差也为 $0$。此时“不相关”有定义，但相关系数没有定义，不能写成 $\rho=0$。

### 相关不等于因果

相关系数只衡量线性关联的强弱。它不能说明因果关系，也不保证线性模型合适：两个变量可能同时受第三个变量影响，也可能存在明显的曲线关系而相关系数接近零。

[来源：相关系数](/knowledge/maths/probability/correlation-coefficient/#properties)

## 学习安排

4.3紧接4.2：协方差是两个偏差乘积的期望，相关系数再用两个方差把协方差归一化。因此读这一节时要同时调用4.1的期望运算和4.2的方差，缺一项就算不出相关系数。4.4会把这里的 $n$ 个变量的两两协方差排成协方差矩阵，这一节的双线性展开是那里的基础。

本节先定义协方差并说明符号含义，再列出性质，然后用柯西—施瓦茨不等式引出相关系数，最后集中讨论不相关与独立的区别。性质中的“和与差”例子可以用来检查条件是否写全。

## 课程约定

* 协方差记 $\operatorname{Cov}(X,Y)$，相关系数记 $\rho_{XY}$，方差继续用 $D(X)$。
* “不相关”定义为 $\operatorname{Cov}(X,Y)=0$；只有在 $D(X)>0$、$D(Y)>0$ 时才进一步等价于 $\rho_{XY}=0$。
* 讨论相关系数前先确认两个方差都为正；方差为零时相关系数没有定义，不能写成 $0$。
* 由不相关推出独立时，必须写明联合正态这一额外条件；只已知两个边缘为正态不够。

## 重点

* 协方差对两个位置分别线性，展开 $\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right)$ 时两个求和都要分配。
* 独立时 $E(XY)=E(X)E(Y)$，由此得到协方差为零；反向一般不成立。
* $|\rho|=1$ 等价于两个变量以概率一满足线性关系 $Y=aX+b$，$a$ 的符号与 $\rho$ 相同。
* 仿射变换下相关系数只可能改变符号：$\rho_{aX+b,cY+d}=\operatorname{sgn}(ac)\rho_{XY}$。

## 易错点

* 把“不相关”当成“独立”。$X\sim U[-1,1]$、$Y=X^2$ 是标准反例，协方差为零但两者明显不独立。
* 用协方差的数值直接比较不同变量的关联强弱。协方差带单位，换成厘米就会放大 $10000$ 倍，比较强弱应看相关系数。
* 认为方差为零时“相关系数等于零”。分母为零时相关系数没有定义，只能说该变量几乎必然是常数。
* 把相关当作因果，或者不检查线性关系就套用相关系数。
* 只看到 $X$、$Y$ 各自服从正态分布，就用“不相关即独立”；必须是 $(X,Y)$ 联合正态。

## 复习要点

判断“不相关能否推出独立”时，先看题目有没有给出联合正态，再看两个变量是否由同一个变量决定。计算协方差前先确认拿到的是联合分布；只给两个边缘分布时，除非已知独立，否则不能把 $E(XY)$ 拆成 $E(X)E(Y)$。