$$$$

大数定律

设 $\{X_n\}$ 为随机变量序列，且 $E(X_n)$ 存在。若

$$\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n\mathbb{E}(X_i)\stackrel{\mathit{P}}{⟶}0$$

则称 $\{X_n\}$ 服从大数定律。

伯努利大数定律

设 $\{X_n\}\stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}}{\sim }B(1,p)$ 独立同分布，则 $\{X_n\}$ 服从大数定律。

证

设 $Z_n={\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i$，则

$$\begin{array}{c}\mathbb{E}(Z_n)={\displaystyle \frac{1}{n}}\sum _{i=1}^n\mathbb{E}(X_i)={\displaystyle \frac{np}{n}}=p\\ \mathbb{V}(Z_n)={\displaystyle \frac{1}{n^2}}\sum _{i=1}^n\mathbb{V}(X_i)={\displaystyle \frac{np(1-p)}{n^2}}={\displaystyle \frac{p(1-p)}{n}}\end{array}$$

对任意 $\epsilon >0$，由切比雪夫不等式有

$$\begin{array}{c}P(|Z_n-\mathbb{E}(Z_n)|<\epsilon )\ge 1-\frac{\mathbb{V}(Z_n)}{{\epsilon }^2}=1-\frac{p(1-p)}{n{\epsilon }^2}\\ \therefore \underset{n\to \mathrm{\infty }}{lim}P(|Z_n-\mathbb{E}(Z_n)|<\epsilon )=1\\ \therefore Z_n-\mathbb{E}(Z_n)\stackrel{\mathit{P}}{⟶}0\end{array}$$

切比雪夫大数定律

设 $\{X_n\}$ 两两不相关，且 $\mathbb{V}(X_i)\le c$，则 $\{X_n\}$ 服从大数定律。

证

由 $\{X_n\}$ 两两不相关，有 $\mathrm{\forall }i\ne j,\mathrm{cov}(X_i,X_j)=0$，故

$$\mathbb{V}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n\mathbb{V}(X_i)\le \frac{c}{n}$$

对任意 $\epsilon >0$，由切比雪夫不等式有

$$\begin{array}{c}P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n\mathbb{E}(X_i)|<\epsilon )\ge 1-\frac{\mathbb{V}\left({\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i\right)}{{\epsilon }^2}\ge 1-\frac{c}{n{\epsilon }^2}\\ \therefore \underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n\mathbb{E}(X_i)|<\epsilon )=1\\ \therefore \frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^n\mathbb{E}(X_i)\stackrel{\mathit{L}}{⟶}0\end{array}$$

辛钦大数定律

设 $\{X_n\}$ 独立同分布，且 $\mathbb{E}(X_i)=\mu$，则 $\{X_n\}$ 服从大数定律。

证

证明略。