$$$$

协方差

协方差 $\mathrm{cov}(X,Y)$

衡量随机变量 $X,Y$ 是否同向变动的指标，定义为

$$\mathrm{cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]$$

特别地，当 $X=Y$ 时有

$$\mathrm{cov}(X,X)=\mathbb{V}(X)$$

推论 1

$$\begin{array}{rl}\mathrm{cov}(X,Y)& =\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]\\ & =\mathbb{E}[XY-X\mathbb{E}(Y)-Y\mathbb{E}(X)+\mathbb{E}(X)\mathbb{E}(Y)]\\ & =\mathbb{E}(XY)-2\mathbb{E}(X)\mathbb{E}(Y)+\mathbb{E}(X)\mathbb{E}(Y)\\ & =\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)\end{array}$$

不相关

$\mathrm{cov}(X,Y)=0$。

相关

$\mathrm{cov}(X,Y)\ne 0$。

正相关

$\mathrm{cov}(X,Y)>0$。

负相关

$\mathrm{cov}(X,Y)<0$。

推论 2

若 $X,Y$ 相互独立则 $X,Y$ 不相关，反之不一定成立。

证

由数学期望的性质 3有，当 $X,Y$ 相互独立时

$$\mathbb{E}(XY)=\mathbb{E}(X)\mathbb{E}(Y)$$$$\therefore \mathrm{cov}(X,Y)=\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)=0$$

协方差的性质

设 $X,Y$ 为随机变量，$a,b$ 为常数。

性质 1

$\mathrm{cov}(X,Y)=\mathrm{cov}(Y,X)$。

性质 2

$\mathrm{cov}(X,a)=0$。

性质 3

$\mathrm{cov}(aX,bY)=ab\cdot \mathrm{cov}(X,Y)$。

性质 4

$\mathrm{cov}(X_1+X_2,Y)=\mathrm{cov}(X_1,Y)+\mathrm{cov}(X_2,Y)$。

性质 5

$\mathbb{V}(X\pm Y)=\mathbb{V}(X)+\mathbb{V}(Y)\pm 2\mathrm{cov}(X,Y)$。

推论

对任意 $n$ 个随机变量 $X_1,X_2,\cdots ,X_n$ 有$$\mathbb{V}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\sum _{j=1}^n\mathrm{cov}(X_i,Y_j)$$

协方差不等式

$$|\mathrm{cov}(X,Y)|\le \sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

证

由数学期望的性质 4 得

$$|\mathbb{E}(XY)|\le \sqrt{\mathbb{E}\left(X^2\right)\mathbb{E}\left(Y^2\right)}$$

设 $U=X-\mathbb{E}(X),V=Y-\mathbb{E}(Y)$，则 $\mathbb{V}(X)=\mathbb{E}(U),\mathbb{V}(Y)=\mathbb{E}(V)$，故

$$|\mathrm{cov}(X,Y)|=|\mathbb{E}(UV)|\le \sqrt{\mathbb{E}\left(U^2\right)\mathbb{E}\left(V^2\right)}=\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

相关系数

相关系数 ${\rho }_{XY},\rho$

衡量随机变量 $X,Y$ 相关性的无量纲系数，定义为

$${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}$$

推论

$$\begin{array}{rl}{\rho }_{XY}& =\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}=\mathbb{E}(\frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}\cdot \frac{Y-\mathbb{E}(Y)}{\sqrt{\mathbb{V}(Y)}})=\mathbb{E}(X^{\ast }{Y}^{\ast })\\ & =\mathrm{cov}(X^{\ast },Y^{\ast })={\rho }_{X^{\ast }{Y}^{\ast }}\end{array}$$其中 $X^{\ast }$ 表示 $X$ 的标准化结果，即 $X^{\ast }={\displaystyle \frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}}$。

定理 1

$|{\rho }_{XY}|\le 1$。

定理 2

$|{\rho }_{XY}|=1\iff \mathrm{\exists }a>0,b,P(Y=aX+b)=1$，且 $a>0$ 时 ${\rho }_{XY}=1$，$a<0$ 时 ${\rho }_{XY}=-1$。