协方差

协方差 $\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)$

衡量随机变量 $X,\phantom{0}$$\phantom{0}Y$ 是否同向变动的指标，定义为

$$\mathrm{cov}(X,Y)=\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]$$

特别地，当 $X=\phantom{0}$$\phantom{0}Y$ 时有

$$\mathrm{cov}(X,X)=\mathbb{V}(X)$$

推论 1

$$\begin{array}{rl}\mathrm{cov}(X,Y)& =\mathbb{E}[(X-\mathbb{E}(X))(Y-\mathbb{E}(Y))]\\ & =\mathbb{E}[XY-X\mathbb{E}(Y)-Y\mathbb{E}(X)+\mathbb{E}(X)\mathbb{E}(Y)]\\ & =\mathbb{E}(XY)-2\mathbb{E}(X)\mathbb{E}(Y)+\mathbb{E}(X)\mathbb{E}(Y)\\ & =\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)\end{array}$$

不相关

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)=\phantom{0}$$\phantom{0}0$。

相关

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)\ne \phantom{0}$$\phantom{0}0$。

正相关

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)>0$。

负相关

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)<0$。

推论 2

若 $X,\phantom{0}$$\phantom{0}Y$ 相互独立则 $X,\phantom{0}$$\phantom{0}Y$ 不相关，反之不一定成立。

证

由数学期望的性质 3有，当 $X,\phantom{0}$$\phantom{0}Y$ 相互独立时

$$\mathbb{E}(XY)=\mathbb{E}(X)\mathbb{E}(Y)$$$$\therefore \mathrm{cov}(X,Y)=\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)=0$$

协方差的性质

设 $X,\phantom{0}$$\phantom{0}Y$ 为随机变量，$a,\phantom{0}$$\phantom{0}b$ 为常数。

性质 1

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)=\phantom{0}$$\phantom{0}\mathrm{cov}(Y,\phantom{0}$$\phantom{0}X)$。

性质 2

$\mathrm{cov}(X,\phantom{0}$$\phantom{0}a)=\phantom{0}$$\phantom{0}0$。

性质 3

$\mathrm{cov}(aX,\phantom{0}$$\phantom{0}bY)=\phantom{0}$$\phantom{0}ab\cdot \mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)$。

性质 4

$\mathrm{cov}(X_1+\phantom{0}$$\phantom{0}{X}_2,\phantom{0}$$\phantom{0}Y)=\phantom{0}$$\phantom{0}\mathrm{cov}(X_1,\phantom{0}$$\phantom{0}Y)+\phantom{0}$$\phantom{0}\mathrm{cov}(X_2,\phantom{0}$$\phantom{0}Y)$。

性质 5

$\mathbb{V}(X\pm Y)=\phantom{0}$$\phantom{0}\mathbb{V}(X)+\phantom{0}$$\phantom{0}\mathbb{V}(Y)\pm 2\mathrm{cov}(X,\phantom{0}$$\phantom{0}Y)$。

推论

对任意 $n$ 个随机变量 $X_1,\phantom{0}$$\phantom{0}{X}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{X}_n$ 有$$\mathbb{V}\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^n\sum _{j=1}^n\mathrm{cov}(X_i,Y_j)$$

协方差不等式

$$|\mathrm{cov}(X,Y)|\le \sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

证

由数学期望的性质 4 得

$$|\mathbb{E}(XY)|\le \sqrt{\mathbb{E}\left(X^2\right)\mathbb{E}\left(Y^2\right)}$$

设 $U=\phantom{0}$$\phantom{0}X-\phantom{0}$$\phantom{0}\mathbb{E}(X),\phantom{0}$$\phantom{0}V=\phantom{0}$$\phantom{0}Y-\phantom{0}$$\phantom{0}\mathbb{E}(Y)$，则 $\mathbb{V}(X)=\phantom{0}$$\phantom{0}\mathbb{E}(U),\phantom{0}$$\phantom{0}\mathbb{V}(Y)=\phantom{0}$$\phantom{0}\mathbb{E}(V)$，故

$$|\mathrm{cov}(X,Y)|=|\mathbb{E}(UV)|\le \sqrt{\mathbb{E}\left(U^2\right)\mathbb{E}\left(V^2\right)}=\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}$$

相关系数

相关系数 ${\rho }_{XY},\phantom{0}$$\phantom{0}\rho$

衡量随机变量 $X,\phantom{0}$$\phantom{0}Y$ 相关性的无量纲系数，定义为

$${\rho }_{XY}=\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}$$

推论

$$\begin{array}{rl}{\rho }_{XY}& =\frac{\mathrm{cov}(X,Y)}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}=\mathbb{E}(\frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}\cdot \frac{Y-\mathbb{E}(Y)}{\sqrt{\mathbb{V}(Y)}})=\mathbb{E}(X^{\ast }{Y}^{\ast })\\ & =\mathrm{cov}(X^{\ast },Y^{\ast })={\rho }_{X^{\ast }{Y}^{\ast }}\end{array}$$其中 $X^{\ast }$ 表示 $X$ 的标准化结果，即 $X^{\ast }=\phantom{0}$$\phantom{0}{\displaystyle \frac{X-\mathbb{E}(X)}{\sqrt{\mathbb{V}(X)}}}$。

定理 1

$|{\rho }_{XY}|\le 1$。

定理 2

$|{\rho }_{XY}|=\phantom{0}$$\phantom{0}1\iff \mathrm{\exists }a>0,\phantom{0}$$\phantom{0}\mathrm{\exists }b,\phantom{0}$$\phantom{0}\mathbb{P}(Y=\phantom{0}$$\phantom{0}aX+\phantom{0}$$\phantom{0}b)=\phantom{0}$$\phantom{0}1$，且 $a>0$ 时 ${\rho }_{XY}=\phantom{0}$$\phantom{0}1$，$a<0$ 时 ${\rho }_{XY}=\phantom{0}$$\phantom{0}-\phantom{0}$$\phantom{0}1$。

随机变量的独立性总结

$$\begin{array}{rl}X,Y\text{ 相互独立 }& \Rightarrow X,Y\text{ 不相关 }\\ & \iff {\rho }_{XY}=0\\ & \iff \mathrm{cov}(X,Y)=0\\ & \iff \mathbb{E}(XY)=\mathbb{E}(X)\mathbb{E}(Y)\\ & \iff \mathbb{V}(X\pm Y)=\mathbb{V}(X)+\mathbb{V}(Y)\end{array}$$

对于正态分布随机变量 $(X,\phantom{0}$$\phantom{0}Y)$，$X,\phantom{0}$$\phantom{0}Y$ 相互独立 $\iff$ $X,\phantom{0}$$\phantom{0}Y$ 不相关。