定义

条件概率 $P(A\mid B)$

$B$ 发生的条件下 $A$ 发生的概率。$$P(A\mid B)={\displaystyle \frac{P(AB)}{P(B)}},P(B)>0$$

• 非负有界性：$0\le P(A\mid B)\le 1$；
• 规范性：$P(\mathrm{\Omega }\mid B)=1$；
• 可列可加性：对于可列无穷多、互不相容的随机事件 $\{A_1,A_2,\cdots ,A_n,\cdots \}$ 有$$P\left(\bigcup _{i=1}^{\mathrm{\infty }}{A}_i\right|B)=\sum _{i=1}^{\mathrm{\infty }}P(A_i\mid B)$$

乘法公式

若 $P(B)>0$ 则

$$P(AB)=P(B)P(A\mid B)$$

若 $P(A)>0$ 则

$$P(AB)=P(A)P(B\mid A)$$

推论

若 $\mathrm{\forall }i,P(A_i)>0$ 则

$$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2\mid A_1)\cdots P(A_n\mid A_1{A}_2\cdots A_{n-1})$$

全概率公式

设 $\{A_1,A_2,\cdots ,A_n\}$ 是完备事件组，则

$$P(B)=\sum _{i=1}^{n}P(A_i)P(B\mid A_i)$$

证

$$B=B\cap \mathrm{\Omega }=B\left(\bigcup _{i=1}^n{A}_i\right)=\bigcup _{i=1}^n\left(A_{i}B\right)$$

根据完备事件组的互不相容性，$\{A_i{\}}_{i=1}^n$ 之间互不相容，即 $\{A_{i}B{\}}_{i=1}^n$ 之间也互不相容。根据 性质 2（有限可加性） 有

$$P(B)=\sum _{i=1}^{n}P(A_{i}B)=\sum _{i=1}^{n}P(A_i)P(B\mid A_i)$$

贝叶斯公式

若 $P(\theta )>0$，$P(D)>0$ 则

$$P(\theta \mid D)=\frac{P(\theta )\cdot P(D\mid \theta )}{P(D)}$$

证

由 $P(\theta )>0$，$P(D)>0$，根据乘法公式：

$$\begin{array}{c}P(\theta \cdot D)=P(D)\cdot P(\theta \mid D)=P(\theta )\cdot P(D\mid \theta )\\ \therefore P(\theta \mid D)=\frac{P(\theta )\cdot P(D\mid \theta )}{P(D)}\end{array}$$

先验概率 $P(\theta )$

试验前已知的概率，通常只能知道估计值。

后验概率 $P(\theta \mid D)$

试验后，基于观测数据 $P(D)$ 和 $P(D\mid \theta )$ 更新后的概率。

INFO

适用场景：$P(\theta )$ 只有估计值，而 $P(D)$ 和 $P(D\mid \theta )$ 可以准确测量。

归一化贝叶斯公式

设 $\{A_1,A_2,\cdots ,A_n\}$ 是完备事件组，若 $P(A_i)>0$，$P(D)>0$ 则

$$P(A_i\mid D)=\frac{P(A_i)P(D\mid A_i)}{{\displaystyle \sum _{k=1}^{n}P(A_k)P(D\mid A_k)}}$$

INFO

适用场景：$P(A_i)$ 只有估计值，而 $P(D\mid A_i)$ 可以准确测量。