课程笔记

4.3协方差与相关系数

8 分钟阅读

阅读入口

协方差的定义

设 $X$ 、 $Y$ 的二阶矩有限，记 $\mu_X=E(X)$ 、 $\mu_Y=E(Y)$ 。称

\operatorname{Cov}(X,Y)=E\bigl[(X-\mu_X)(Y-\mu_Y)\bigr]

为 $X$ 与 $Y$ 的协方差。把乘积展开，得到等价的常用公式

\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y).

协方差的符号说明偏离均值的方向：

取正值时，两个变量偏离均值的方向倾向于一致；
取负值时，偏离方向倾向于相反；
取零时称 $X$ 与 $Y$ 不相关，这只表示没有这种线性关联，不排除其它形式的关系。

协方差带有计量单位，数值大小会随单位改变，不能直接用它的绝对值比较不同变量之间关联的强弱。例如两个长度变量都从米改成厘米，协方差会放大 $10000$ 倍，关联本身并没有变强。

来源：协方差

本课程把 $\operatorname{Cov}(X,Y)$ 与 $D(X)$ 并排使用，4.4再把它们排进同一个协方差矩阵。

协方差的性质

对称性与方差

\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X),\qquad \operatorname{Cov}(X,X)=D(X).

第一条由定义中两个因子的对称性直接得到；第二条中两个因子相同，就是方差的定义（见方差）。

仿射变换与双线性

\operatorname{Cov}(aX+b,cY+d)=ac\operatorname{Cov}(X,Y).

证明

变换后的均值分别为 $aE(X)+b$ 与 $cE(Y)+d$ ，两个偏差分别为 $a(X-E(X))$ 与 $c(Y-E(Y))$ ，相乘后把常数 $ac$ 提到期望外面即可。

协方差对两个位置分别具有线性性，因此对有限线性组合可以逐项展开：

\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right) =\sum_i\sum_j a_ib_j\operatorname{Cov}(X_i,Y_j).

特别地， $\operatorname{Cov}(X+Y,Z)=\operatorname{Cov}(X,Z)+\operatorname{Cov}(Y,Z)$ 。展开时两个位置都要分配，不能只乘到其中一边。

和与差的协方差

设 $X$ 、 $Y$ 独立，且 $D(X)=D(Y)=\sigma^2$ 。令 $U=X+Y$ ， $V=X-Y$ 。由双线性并利用独立性，

\operatorname{Cov}(U,V) =\operatorname{Cov}(X,X)-\operatorname{Cov}(X,Y) +\operatorname{Cov}(Y,X)-\operatorname{Cov}(Y,Y) =\sigma^2-0+0-\sigma^2=0.

所以 $U$ 与 $V$ 不相关。这里只能得到不相关，不能直接断言独立： $U$ 与 $V$ 都由 $X$ 、 $Y$ 决定。若额外已知 $(X,Y)$ 服从二维正态分布，则 $(U,V)$ 也服从二维正态分布，此时才能由不相关推出独立。

不相关与独立

独立一定不相关：独立时 $E(XY)=E(X)E(Y)$ ，协方差为零。反过来一般不成立。取 $X\sim U[-1,1]$ ， $Y=X^2$ ，则 $E(X)=0$ ，

E(XY)=E(X^3)=\int_{-1}^{1}\frac{x^3}{2}\,\mathrm dx=0,

所以 $\operatorname{Cov}(X,Y)=0$ ，两者不相关；但 $Y$ 完全由 $X$ 决定，显然不独立。事件层面的验证见随机变量的独立性。

来源：协方差

协方差与方差共用同一套期望记号，本课程把 $\operatorname{Cov}(X,X)=D(X)$ 当作两条公式之间的接口。

课程约定

协方差记 $\operatorname{Cov}(X,Y)$ ，相关系数记 $\rho_{XY}$ ，方差继续用 $D(X)$ 。
“不相关”定义为 $\operatorname{Cov}(X,Y)=0$ ；只有在 $D(X)>0$ 、 $D(Y)>0$ 时才进一步等价于 $\rho_{XY}=0$ 。
讨论相关系数前先确认两个方差都为正；方差为零时相关系数没有定义，不能写成 $0$ 。
由不相关推出独立时，必须写明联合正态这一额外条件；只已知两个边缘为正态不够。

重点

协方差对两个位置分别线性，展开 $\operatorname{Cov}\left(\sum_i a_iX_i,\sum_j b_jY_j\right)$ 时两个求和都要分配。
独立时 $E(XY)=E(X)E(Y)$ ，由此得到协方差为零；反向一般不成立。
$|\rho|=1$ 等价于两个变量以概率一满足线性关系 $Y=aX+b$ ， $a$ 的符号与 $\rho$ 相同。
仿射变换下相关系数只可能改变符号： $\rho_{aX+b,cY+d}=\operatorname{sgn}(ac)\rho_{XY}$ 。

易错点

把“不相关”当成“独立”。 $X\sim U[-1,1]$ 、 $Y=X^2$ 是标准反例，协方差为零但两者明显不独立。
用协方差的数值直接比较不同变量的关联强弱。协方差带单位，换成厘米就会放大 $10000$ 倍，比较强弱应看相关系数。
认为方差为零时“相关系数等于零”。分母为零时相关系数没有定义，只能说该变量几乎必然是常数。
把相关当作因果，或者不检查线性关系就套用相关系数。
只看到 $X$ 、 $Y$ 各自服从正态分布，就用“不相关即独立”；必须是 $(X,Y)$ 联合正态。

复习要点

判断“不相关能否推出独立”时，先看题目有没有给出联合正态，再看两个变量是否由同一个变量决定。计算协方差前先确认拿到的是联合分布；只给两个边缘分布时，除非已知独立，否则不能把 $E(XY)$ 拆成 $E(X)E(Y)$ 。