贝叶斯定律

贝叶斯公式

公式完整内容参阅《机器学习数学基础》一书。

定理： 如果事件 $A_1,A_2,\cdots,A_n$ 互不相容， $B\subset\cup_{j=1}^nA_j$ ，则 $P(B)\gt0$ 时，有：

$\displaystyle{P(A_j|B)=\frac{P(A_j)P(B|A_j)}{\sum_{i=1}^nP(A_i)P(B|A_I)}$ ， $1\le j\le n}$

证明

由全概率公式 $^{[3]}$ 得：

$P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$

再有条件概率公式 $^{[3]}$ 得到：

$P(A_j|B)=\frac{P(A_jB)}{P(B)}=\frac{P(A_j)P(B|A_j)}{\sum_{i=1}^nP(A_i)P(B|A_I)}$ ， $1\le j\le n$

蒙提霍尔问题（Monty Hall problem），或称三门问题、山羊问题，是一个源自博弈论的数学游戏问题，出自美国的电视节目 Let's Make a Deal ，此节目的主持人是 Monty Hall $^{[1]}$ 。

游戏玩法是：参赛者会看见三扇关闭的们，其中一扇后面是一辆汽车，另外两扇后面是山羊。参赛者选定一扇门，在未打开那扇门之前，知道门后情形的节目主持人先打开剩下两扇门中一扇，显示出一只山羊。主持人此时会问参赛者是否更换自己选定的门。

问题是：换另外一扇门是否会增加参赛者赢得汽车的概率。

解： $^{[2]}$

设 $H_1,H_2,H_3$ 为三扇门开启后赢得汽车的概率，即先验概率：

$P(H_1)=P(H_2)=P(H_3)=\frac{1}{3}$

假设汽车在门1的后面：

将主持人选择某扇门的概率用条件概率形式写出：

$\begin{split}P(Y=2|H_1)=\frac{1}{2}&\quad P(Y=2|H_2)=0&\quad P(Y=2|H_3)=1\\P(Y=3|H_1)=\frac{1}{2}&\quad P(Y=3|H_2)=1&\quad P(Y=3|H_3)=0\end{split}$

根据贝叶斯定律，计算上述假设下的后验概率

$P(H_i|Y=3)=\frac{P(Y=3|H_i)P(H_i)}{P(Y=3)}$

$\begin{split}P(H_1|Y=3)=\frac{(1/2)(1/3)}{P(Y=3)}\\P(H_2|Y=3)=\frac{(1)(1/3)}{P(Y=3)}\\P(H_3|Y=3)=\frac{(0)(1/3)}{P(Y=3)}\end{split}$

其中 $P(Y=3)=\frac{1}{6}+\frac{1}{3}=\frac{1}{2}$ ，则：

$\begin{split}P(H_1|Y=3)=\frac{1}{3}\\P(H_2|Y=3)=\frac{2}{3}\\P(H_3|Y=3)=0\end{split}$

所以，如果参赛者选中了一扇门，主持人打开一扇门后，参赛者更换自己的选择，赢得汽车的概率会较高。各种情况可以用下面的表格显示。

[2]. Kevin P. Murphy. Probabilistic Machine Learning An Introduction[M]:43-44. The MIT Press.

作者: 老齐
链接: http://math.itdiffer.com/bayes.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!

$http://math.itdiffer.com/images/0.jpg$