定义

条件概率 $\mathbb{P}(A\mid B)$

$B$ 发生的条件下 $A$ 发生的概率。$$\mathbb{P}(A\mid B)={\displaystyle \frac{\mathbb{P}(AB)}{\mathbb{P}(B)}},\mathbb{P}(B)>0$$

• 非负有界性：$0\le \mathbb{P}(A\mid B)\le 1$；
• 规范性：$\mathbb{P}(\mathrm{\Omega }\mid B)=\phantom{0}$$\phantom{0}1$；
• 可列可加性：对于可列无穷多、互不相容的随机事件 $\{A_1,A_2,\cdots ,A_n,\cdots \}$ 有$$\mathbb{P}\left(\bigcup _{i=1}^{\mathrm{\infty }}{A}_i\right|B)=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A_i\mid B)$$

乘法公式

若 $\mathbb{P}(B)>0$ 则

$$\mathbb{P}(AB)=\mathbb{P}(B)\mathbb{P}(A\mid B)$$

若 $\mathbb{P}(A)>0$ 则

$$\mathbb{P}(AB)=\mathbb{P}(A)\mathbb{P}(B\mid A)$$

推论

若 $\mathrm{\forall }i,\phantom{0}$$\phantom{0}\mathbb{P}(A_i)>0$ 则

$$\mathbb{P}(A_1{A}_2\cdots A_n)=\mathbb{P}(A_1)\mathbb{P}(A_2\mid A_1)\cdots \mathbb{P}(A_n\mid A_1{A}_2\cdots A_{n-1})$$

全概率公式

设 $\{A_1,A_2,\cdots ,A_n\}$ 是完备事件组，则

$$\mathbb{P}(B)=\sum _{i=1}^n\mathbb{P}(A_i)\mathbb{P}(B\mid A_i)$$

证

$$B=B\cap \mathrm{\Omega }=B\left(\bigcup _{i=1}^n{A}_i\right)=\bigcup _{i=1}^n\left(A_{i}B\right)$$

根据完备事件组的互不相容性，$\{A_i{\}}_{i=1}^n$ 之间互不相容，即 $\{A_{i}B{\}}_{i=1}^n$ 之间也互不相容。根据 性质 2（有限可加性） 有

$$\mathbb{P}(B)=\sum _{i=1}^n\mathbb{P}(A_{i}B)=\sum _{i=1}^n\mathbb{P}(A_i)\mathbb{P}(B\mid A_i)$$

贝叶斯公式

若 $\mathbb{P}(\theta )>0$，$\mathbb{P}(D)>0$ 则

$$\mathbb{P}(\theta \mid D)=\frac{\mathbb{P}(\theta )\cdot \mathbb{P}(D\mid \theta )}{\mathbb{P}(D)}$$

证

由 $\mathbb{P}(\theta )>0$，$\mathbb{P}(D)>0$，根据乘法公式：

$$\begin{array}{c}\mathbb{P}(\theta \cdot D)=\mathbb{P}(D)\cdot \mathbb{P}(\theta \mid D)=\mathbb{P}(\theta )\cdot \mathbb{P}(D\mid \theta )\\ \therefore \mathbb{P}(\theta \mid D)=\frac{\mathbb{P}(\theta )\cdot \mathbb{P}(D\mid \theta )}{\mathbb{P}(D)}\end{array}$$

先验概率 $\mathbb{P}(\theta )$

试验前已知的概率，通常只能知道估计值。

后验概率 $\mathbb{P}(\theta \mid D)$

试验后，基于观测数据 $\mathbb{P}(D)$ 和 $\mathbb{P}(D\mid \theta )$ 更新后的概率。

INFO

适用场景：$\mathbb{P}(\theta )$ 只有估计值，而 $\mathbb{P}(D)$ 和 $\mathbb{P}(D\mid \theta )$ 可以准确测量。

归一化贝叶斯公式

设 $\{A_1,A_2,\cdots ,A_n\}$ 是完备事件组，若 $\mathbb{P}(A_i)>0$，$\mathbb{P}(D)>0$ 则

$$\mathbb{P}(A_i\mid D)=\frac{\mathbb{P}(A_i)\mathbb{P}(D\mid A_i)}{\sum _{k=1}^n\mathbb{P}(A_k)\mathbb{P}(D\mid A_k)}$$

INFO

适用场景：$\mathbb{P}(A_i)$ 只有估计值，而 $\mathbb{P}(D\mid A_i)$ 可以准确测量。