协方差

协方差 $\mathrm{cov}(X,$$Y)$

衡量随机变量 $X,$$Y$ 是否同向变动的指标，定义为

$$\mathrm{cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]$$

特别地，当 $X=$$Y$ 时有

$$\mathrm{cov}(X,X)=\mathbb{V}(X)$$

推论 1

$$\begin{array}{rl}\mathrm{cov}(X,Y)& =\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]\\ & =\mathbb{E}[XY-X\mathbb{E}(Y)-Y\mathbb{E}(X)+\mathbb{E}(X)\mathbb{E}(Y)]\\ & =\mathbb{E}(XY)-2\mathbb{E}(X)\mathbb{E}(Y)+\mathbb{E}(X)\mathbb{E}(Y)\\ & =\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)\end{array}$$

不相关

$\mathrm{cov}(X,$$Y)=$$0$。

相关

$\mathrm{cov}(X,$$Y)\ne$$0$。

正相关

$\mathrm{cov}(X,$$Y)>0$。

负相关

$\mathrm{cov}(X,$$Y)<0$。

推论 2

若 $X,$$Y$ 相互独立则 $X,$$Y$ 不相关，反之不一定成立。

证

由数学期望的性质 3有，当 $X,$$Y$ 相互独立时

$$\mathbb{E}(XY)=\mathbb{E}(X)\mathbb{E}(Y)$$$$\therefore \mathrm{cov}(X,Y)=\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)=0$$

协方差的性质

设 $X,$$Y$ 为随机变量，$a,$$b$ 为常数。

性质 1

$\mathrm{cov}(X,$$Y)=$$\mathrm{cov}(Y,$$X)$。

性质 2

$\mathrm{cov}(X,$$a)=$$0$。

性质 3

$\mathrm{cov}(aX,$$bY)=$$ab\cdot \mathrm{cov}(X,$$Y)$。

性质 4

$\mathrm{cov}(X_1+$$X_2,$$Y)=$$\mathrm{cov}(X_1,$$Y)+$$\mathrm{cov}(X_2,$$Y)$。

性质 5

$\mathbb{V}(X\pm Y)=$$\mathbb{V}(X)+$$\mathbb{V}(Y)\pm 2\mathrm{cov}(X,$$Y)$。

推论

对任意 $n$ 个随机变量 $X_1,$$X_2,$$\cdots ,$$X_n$ 有$$\mathbb{V}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\sum _{j=1}^n\mathrm{cov}(X_i,Y_j)$$

协方差不等式

$$|\mathrm{cov}(X,Y)|\le \sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

证

由数学期望的性质 4 得

$$|\mathbb{E}(XY)|\le \sqrt{\mathbb{E}\left(X^2\right)\mathbb{E}\left(Y^2\right)}$$

设 $U=$$X-$$\mathbb{E}(X),$$V=$$Y-$$\mathbb{E}(Y)$，则 $\mathbb{V}(X)=$$\mathbb{E}(U),$$\mathbb{V}(Y)=$$\mathbb{E}(V)$，故

$$|\mathrm{cov}(X,Y)|=|\mathbb{E}(UV)|\le \sqrt{\mathbb{E}\left(U^2\right)\mathbb{E}\left(V^2\right)}=\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

相关系数

相关系数 ${\rho }_{XY},$$\rho$

衡量随机变量 $X,$$Y$ 相关性的无量纲系数，定义为

$${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}$$

推论

$$\begin{array}{rl}{\rho }_{XY}& =\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}=\mathbb{E}(\frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}\cdot \frac{Y-\mathbb{E}(Y)}{\sqrt{\mathbb{V}(Y)}})=\mathbb{E}(X^{\ast }{Y}^{\ast })\\ & =\mathrm{cov}(X^{\ast },Y^{\ast })={\rho }_{X^{\ast }{Y}^{\ast }}\end{array}$$其中 $X^{\ast }$$$ 表示 $X$ 的标准化结果，即 $X^{\ast }$$=$${\displaystyle \frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}}$。

定理 1

$|{\rho }_{XY}|\le 1$。

定理 2

$|{\rho }_{XY}|=$$1\iff \mathrm{\exists }a>0,$$\mathrm{\exists }b,$$\mathbb{P}(Y=$$aX+$$b)=$$1$，且 $a>0$ 时 ${\rho }_{XY}=$$1$，$a<0$ 时 ${\rho }_{XY}=$$-$$1$。

随机变量的独立性总结

$$\begin{array}{rl}X,Y\text{ 相互独立 }& \Rightarrow X,Y\text{ 不相关 }\\ & \iff {\rho }_{XY}=0\\ & \iff \mathrm{cov}(X,Y)=0\\ & \iff \mathbb{E}(XY)=\mathbb{E}(X)\mathbb{E}(Y)\\ & \iff \mathbb{V}(X\pm Y)=\mathbb{V}(X)+\mathbb{V}(Y)\end{array}$$

对于正态分布随机变量 $(X,$$Y)$，$X,$$Y$ 相互独立 $\iff$ $X,$$Y$ 不相关。