知识点

相关系数

定义

当 D(X)>0D(X)>0、D(Y)>0D(Y)>0 时,定义

ρXY=Cov⁡(X,Y)D(X)D(Y).\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}.

性质

由柯西—施瓦茨不等式,

∣Cov⁡(X,Y)∣≤D(X)D(Y),|\operatorname{Cov}(X,Y)|\le\sqrt{D(X)D(Y)},

所以

−1≤ρXY≤1.-1\le\rho_{XY}\le1.
证明

设 D(Y)>0D(Y)>0。对任意实数 tt,

D(X+tY)=D(X)+2tCov⁡(X,Y)+t2D(Y)≥0.D(X+tY)=D(X)+2t\operatorname{Cov}(X,Y)+t^2D(Y)\ge0.

这是关于 tt 的非负二次函数,判别式不大于零,即

4Cov⁡(X,Y)2−4D(X)D(Y)≤0,4\operatorname{Cov}(X,Y)^2-4D(X)D(Y)\le0,

也就是 ∣Cov⁡(X,Y)∣≤D(X)D(Y)|\operatorname{Cov}(X,Y)|\le\sqrt{D(X)D(Y)}。若 D(Y)=0D(Y)=0,则 YY 几乎必然是常数,协方差为零,不等式同样成立。

∣ρ∣|\rho| 越接近 11,线性关联越强;越接近 00,线性关联越弱。ρ=0\rho=0 只说明不相关,不能据此排除曲线形式的关系。∣ρ∣=1|\rho|=1 当且仅当存在 a≠0a\ne0 与 bb,使

P{Y=aX+b}=1,P\{Y=aX+b\}=1,

即两个变量以概率一落在一条非水平直线上;aa 的符号决定 ρ\rho 的符号。理由是不等式取等号时判别式为零,存在 t0t_0 使 D(X+t0Y)=0D(X+t_0Y)=0,于是 X+t0YX+t_0Y 几乎必然是常数,移项即得线性关系;反过来把 Y=aX+bY=aX+b 代入相关系数的定义,也能直接算出 ∣ρ∣=1|\rho|=1。

相关系数对平移和正数倍缩放不变,对负数倍缩放改变符号:

ρaX+b,cY+d=sgn⁡(ac) ρXY(ac≠0),\rho_{aX+b,cY+d}=\operatorname{sgn}(ac)\,\rho_{XY}\qquad(ac\ne0),

其中 sgn⁡\operatorname{sgn} 是符号函数,取值为 11、−1-1 或 00。

若某个变量的方差为零,分母为零,相关系数没有定义,不能说它等于零。

相关不等于因果

相关系数只衡量线性关联的强弱。它不能说明因果关系,也不保证线性模型合适:两个变量可能同时受第三个变量影响,也可能存在明显的曲线关系而相关系数接近零。

例子

若两个零一变量的边缘概率均为 1/21/2,且 P(X=1,Y=1)=0.4P(X=1,Y=1)=0.4,则协方差为 0.4−0.25=0.150.4-0.25=0.15,两个方差均为 0.250.25,所以相关系数为 0.15/0.25=0.60.15/0.25=0.6。

仿射变换后的相关系数

对上例的 XX、YY 令 U=2X+1U=2X+1,V=−3Y+2V=-3Y+2。这里 a=2a=2、c=−3c=-3,ac=−6<0ac=-6<0,所以

ρUV=sgn⁡(−6)×0.6=−0.6.\rho_{UV}=\operatorname{sgn}(-6)\times0.6=-0.6.

平移不改变相关程度,负倍数把关联方向反过来,相关系数只改变符号,绝对值仍为 0.60.6。

交互探索

观察相关系数为零时仍可能存在确定的非线性关系。

相关系数为零时,还可能有函数关系吗?

在确定的曲线关系中调整线性项并计算相关系数。

正在准备演示…

题集

练习

  1. 已知 Cov⁡(X,Y)=3\operatorname{Cov}(X,Y)=3,D(X)=4D(X)=4,D(Y)=9D(Y)=9,则 ρXY=\rho_{XY}= 。

    参考解答

    分母为 4×9=6\sqrt{4\times9}=6,所以 ρXY=36=0.5\rho_{XY}=\dfrac{3}{6}=0.5。