概率基础

打开本页，如果不能显示公式，请刷新页面。

古典概型常用计算方法$^{[1]}$​

1. 从 $n$ 个不同的元素中有放回地每次抽取一个，依次抽取 $m$ 个排成一列，可以得到 $n^m$ 个不同的排列。当随机抽取时，得到的不同排列是等可能的。
2. 从 $n$ 个不同的元素中无放回第抽取 $m$ 个元素排成一列时，可以得到 $A^m_n=\frac{n!}{(n-m)!}$ 个不同的排列。当随机抽取和排列时，得到的不同排列是等可能的。
3. 从 $n$ 个不同的元素中无放回第抽取 $m$ 个元素，不论次序地组成一组，可以得到 $C_n^m=\frac{n!}{m!(n-m)!}$ 个不同的组合。当随机抽取时，得到的不同组合是等可能的。
4. 将 $n$ 个不同的元素分成有次序的 $k$ 组，不考虑每组中元素的次序，第 $i(1\le{i}\le{k})$ 组有 $n_i$ 个元素的不同结果数是 $\frac{n!}{n_1!n_2!\cdots n_k!}$ 。当随机分组时，得到的把不同结果是等可能的。

概率空间定义$^{[1]}$

设 $\mathcal{F}$ 是 $\sigma$ 域，如果 $P$ 满足条件：

• （a）非负性：对于任何事件 $A\in\mathcal{F}$​ ，$P(A)\ge0$ ；

• （b）完全性：$P(\Omega)=1$ ；

• （c）可列可加性：对于 $\mathcal{F}$ 中互不相容的事件 $A_1,A_2,\cdots$ ，有：

  $P\left(\bigcup_{j=1}^{\infty}A_j\right)=\sum_{j=1}^{\infty}P(A_j)$

则称 $P$ 是 $\mathcal{F}$ 上的概率，简称为概率，称 $P(A)$ 是 $A$ 发生的概率，称 $(\Omega,\mathcal{F},P)$ 是概率空间。

概率的性质$^{[1]}$

性质（1）：空集的概率是 0：$P(\phi)=0$

证明

由概率的可列可加性和 $P(\Omega)=1$ 可得

$\begin{split}1&=P(\Omega+\phi+\phi+\cdots)=P(\Omega)+P(\phi)+P(\phi)+\cdots\\&=1+P(\phi)+P(\phi)+\cdots\end{split}$

所以， $P(\phi)=0$ 。

性质（2）：有限可加性：如果 $A_1,A_2,\cdots,A_n$ 互不相容，则 $P\left(\bigcup_{j=1}^nA_j\right)=\sum_{j=1}^nP(A_j)$

证明

因为 $A_1,A_2,\cdots,A_n$​ 互不相容， 由概率的可列可加性得到：

$\begin{split}&P(A_1+A_2+\cdots+A_n)\\=&P(A_1+A_2+\cdots+A_n+\phi+\phi+\cdots)\\=&P(A_1)+P(A_2)+\cdots+P(A_n)+P(\phi)+P(\phi)+\cdots\\=&P(A_1)+P(A_2)+\cdots+P(A_n)\end{split}$​

性质（3）： $P(\overline{A})=1-P(A)$

证明

因为 $1=P(\Omega)=P(A+\overline{A})=P(A)+P(\overline{A})$

故得证。

性质（4）可减性：如果 $A\supset B$ ，则 $P(A-B)=P(A)-P(B)$

证明

由性质（2）和 $A=B+(A-B)$ 可得：

$P(A)=P(B)+P(A-B)$

移项后可证。

性质（5）单调性：如果 $B\subset A$ ，则 $P(B)\le{P(A)}\le1$

证明

由性质（4）可知 $0\le P(A)-P(B)\le1$ ，于是 $P(B)\le{P(A)}\le1$

性质（6）次可加性：对于事件 $A_1,A_2,\cdots$ ，有

$P\left(\bigcup_{j=1}^nA_j\right)\le\sum_{j=1}^nP(A_j),\quad P\left(\bigcup_{j=1}^{\infty}A_j\right)=\sum_{j=1}^{\infty}P(A_j)$​​

证明

取 $A_0=\phi,B_j=A_j-\bigcup_{i=0}^{j-1}A_i$ ，则 $B_j$ 互不相容，由 $B_j\subset A_j$ 得：

$\bigcup_{j=1}^nB_j\subset\bigcup_{j=1}^nA_j$

当 $\bigcup_{j=1}^nA_j$ 发生，有 $A_0=\phi$ 可知，一定有某个 $A_j$ 发生，但是 $A_0,A_1,\cdots,A_{j-1}$ 不发生，于是 $B_j$ 发生。于是得：

$\bigcup_{j=1}^nA_j=\bigcup_{j=1}^nB_j$ ，$P(B_j)\le P(A_j)$

由概率的有限可加性得：

$P(\bigcup_{j=1}^nA_j)=P(\bigcup_{j=1}^nB_j)=\sum_{j=1}^nP(B_j)\le\sum_{j=1}^nP(A_j)$

加法公式$^{[1]}$

加法公式 1：对事件 $A$ 、$B$ 有：$P(A\cup B)=P(A)+P(B)-P(AB)$

证明

因为 $A\cup B=A+\overline{A}B$ 和 $B=AB+\overline{A}B$​ ，所以：

$\begin{split}P(A\cup B)&=P(A+\overline{A}B)\\&=P(A)+P(\overline{A}B)\\&=P(A)+\left[P(\overline{A}B)+P(AB)\right]-P(AB)\\&=P(A)+P(B)-P(AB)\end{split}$

加法公式 2：对事件 $A_1,A_2,A_3$​ 有：

$P(\bigcup_{j=1}^3A_j)=\sum_{j=1}^3P(A_j)-\sum_{1\le{i}\le{j}\le3}P(A_iA_j)+P(\bigcap_{j=1}^3A_j)$​​​

证明

由加法公式 1 可得：

$\begin{split}P(A_1\cup A_2\cup A_3)&=P(A_1)+P(A_2\cup A_3)-P(A_1(A_2\cup A_3))\\&=P(A_1)+P(A_2)+P(A_3)-P(A_2A_3)-P(A_1(A_2\cup A_3))\end{split}$​​

因为 $A_1(A_2\cup A_3)=(A_1A_2)\cup(A_1A_3)$​​ ，所以

$P(A_1(A_2\cup A_3))=P((A_1A_2)\cup(A_1A_3))=P(A_1A_2)+P(A_1A_3)-P(A_1A_2A_3)$

代入前面的式子，则：

$\begin{split}P(A_1\cup A_2\cup A_3)&=&&P(A_1)+P(A_2)+P(A_3)-P(A_2A_3)\\&&&-\left[P(A_1A_2)+P(A_1A_3)-P(A_1A_2A_3)\right]\\&=&&\sum_{j=1}^3P(A_j)-\sum_{1\le{i}\le{j}\le3}P(A_iA_j)+P(A_1A_2A_3)\end{split}$​

加法公式 3：（若尔当（Jordan）公式）对于事件 $A_1,A_2,\cdots,A_n$ ，有：

$\begin{split}P(\bigcup_{j=1}^nA_j)=&\sum_{j=1}^nP(A_j)-\sum_{1\le{j_1}\le{j_2}\le n}P(A_{j_1}A_{j_2})+\cdots\\&+(-1)^{k-1}\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}P(A_{j_1}A_{j_2}\cdots A_{j_n})+\cdots\\&+(-1)^{n-1}P(A_1A_2\cdots A_n)\end{split}$​

加法公式 3 是公式 1 和公式 2 的一般化。

加法公式 4：如果对 $k\ge1$​ 和 $1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$​ ，总有 $P(A_{j_1}A_{j_2}\cdots A_{j_k})=P(A_1A_2\cdots A_k)$​​ ，则对 $p_k=C_n^kP(A_1A_2\cdots A_k)$ 有：

$P(\bigcup_{i=1}^nA_i)=\sum_{k=1}^n(-1)^{k-1}p_k$

推导

在 $1,2,\cdots,n$ 中取出 $k$ 个数，有 $C_n^k$ 种取法，所以：

$\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}1=C_n^k$​

对 $k\ge1$ 和 $1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$ ，有 $P(A_{j_1}A_{j_2}\cdots A_{j_k})=P(A_1A_2\cdots A_k)$

则：

$\begin{split}p_k &=\sum_{1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}}P(A_{j_1}A_{j_2}\cdots A_{j_K})\\&=C_n^kP(A_1A_2\cdots A_K) \end{split}$​

事件的独立性$^{[1]}$

定义

如果 $P(AB)=P(A)P(B)$​ ，则称 $A$​ 、$B$​ 相互独立，简称独立（independent）。

推广：

• 称事件 $A_1,A_2,\cdots,A_n$ 相互独立，如果对任何 $1\le{j_1}\lt{j_2}\lt\cdots\lt{j_k}\le{n}$​ 有：

  $P(A_{j_1}A_{j_2}\cdots A_{j_K})=P(A_{j_1})P(A_{j_2})\cdots P(A_{j_K})$

• 称事件 $A_1,A_2,\cdots,A_n$ 相互独立，如果对任何 $n\ge2$ ，事件 $A_1,A_2,\cdots,A_n$​ 相互独立，这是也称 $\{A_n\}$ 是独立事件列。

定理

定理 1： $A$ 、$B$ 独立当且仅当 $\overline{A}$ 、$B$ 独立

证明

当 $A$ 、$B$​ 独立，由 $\overline{A}B=B-AB$ 得：

$P(\overline{A}B)=P(B)-P(AB)=P(B)-P(A)P(B)=P(\overline{A})P(B)$

即 $\overline{A}$ 、$B$ 独立。

如果 $\overline{A}$ 、$B$ 独立，则由上述可得 $A = \Omega-\overline{A}$ 、$B$​ 独立。

条件概率和乘法公式$^{[1]}$

条件概率公式

如果 $P(A)\gt0$ ，则：

$P(B|A)=\frac{P(AB)}{P(A)}$

乘法公式

设 $P(A)\gt0$ ，$P(A_1A_2\cdots A_{n-1})\gt0$ ，则：

1. $P(AB)=P(A)P(B|A)$
2. $P(A_1A_2\cdots A_n)=P(A_1)P(A_2|A_1)\cdots P(A_n|A_1A_2\cdots A_{n-1})$

证明

（1）式可由条件概率公式得到。

（2）式右边每个因子使用条件概率公式得：

$\begin{split}&P(A_1)P(A_2|A_1)\cdots P(A_n|A_1A_2\cdots A_{n-1})\\=&\frac{P(A_1)}{1}\frac{P(A_1A_2)}{P(A_1)}\frac{P(A_1A_2A_3)}{P(A_1A_2)}\cdots\frac{P(A_1A_2\cdots A_{n-1}A_n)}{P(A_1A_2\cdots A_{n-1})}\\=&P(A_1A_2\cdots A_{n-1}A_n)\end{split}$

全概率公式

对于任何时间 $A,B$ ，由概率的甲方公式得到：

$P(B)=P(AB+\overline{A}B)=P(AB)+P(\overline{A}B)$

再用乘法公式，得到全概率公式：

$P(B)=P(A)P(B|A)+P(\overline{A})P(B|\overline{A})$

推广为一般形式：

如果事件 $A_1,A_2,\cdots,A_n$ 互不相容，$B\subset\bigcup_{j=1}^nA_j$ ，则：

$P(B)=\sum_{j=1}^nP(A_j)P(B|A_j)$

证明

因为 $B=B\bigcup_{j=1}^nA_j=\bigcup_{j=1}^nBA_j$ ，且 $BA_1, BA_2,\cdots$ 互不相容，所以：

$\begin{split}P(B)&=P(\bigcup_{j=1}^nBA_j)\\&=\sum_{j=1}^nP(BA_j)\\&=\sum_{j=1}^nP(A_j)P(B|A_j)\end{split}$

如果事件 $A_1,A_2,\cdots,A_n$ 互不相容，$\bigcup_{j=1}^nA_j=\Omega$ ，则称 $A_1,A_2,\cdots,A_n$ 是完备事件组，这是 $B\subset\bigcup_{j=1}^nA_j$ 自然成立。于是上述全概率公式的一般形式对任何事件 $B$ 成立。

典型问题

1. 赌徒破产模型$^{[1]}$

问题：甲有本金 a 元，决心再赢 b 元停止赌博。设甲每局赢的概率是 $p=1/2$ ，每局输赢都是一元钱，甲输光后停止赌博，求甲输光的概率 $q(a)$ 。

解

用 $A$ 表示甲第一局赢，用 $B_k$​ 表示甲有本金 $k$ 元时最后输光，则 $q(k)=P(B_k)$ 。

已知 $A$ 发生后，甲的本金增加医院，所以：

$P(B_k|A)=P(B_{k+1})=q(k+1)$

已知 $\overline{A}$ 放生后，甲的本金减少医院，所以：

$P(B_k|\overline{A})=P(B_{k-1})=q(k-1)$

由题意，$q(0)=1,q(a+b)=0$ ，并且：

$\begin{split}q(k) &= P(B_k)\\&=P(A_P(B_k|A)+P(\overline{A})P(B_k|\overline{A})\\&=\frac{1}{2}q(k+1)+\frac{1}{2}q(k-1)\end{split}$​

于是有 $2q(k)=q(k+1)+q(k-1)$ ，从而得到：

$q(k+1)-q(k)=q(k)-q(k-1)=\cdots=q(1)-q(0)=q(1)-1$

上式两边对 $k=n-1,n-2,\cdots,0$ 求和后得到：

$q(n)-1 = n(q(1)-1)$

取 $n=a+b$​ ，得到：

$0-1=(a+b)(q(1)-1), q(1)-1=\frac{-1}{a+b}$​

则：

$q(a)=1+a(q(1)-1)=1-\frac{a}{a+b}=\frac{b}{a+b}$

当甲的本金 a 有限，贪心 b 越大，输光的概率越大，如果一直赌下去，$b\to\infty$​ ，必定输光。

推广

对上述赌徒模型做进一步研究。假设有 $n$ 个赌徒加入公平赌博（这个假设很重要），第 $i$​ 个赌徒的赌资为 $a_i\gt0$ ，则 $s=\sum_{j=1}^na_j$​ 是所有赌徒的全部赌资，于是得到第 $i$ 个赌徒输光的概率是：

$q(a_i)=\frac{s-a_i}{s}=1-\frac{a_i}{a_1+\cdots+a_n}$

若 $a_i$ 是有限数，且赌徒充分多，则每个 $q(a_i)$ 都接近于 1 。于是，随着时间的推移，大多数赌徒陆续输光，赌资会向少数几个赌徒集中，这就是赌庄逐步形成的过程。如果没有新的赌徒加入，赌庄之间的陆续赌博将使得所有赌资最后集中在一个赌庄手中。

若有无穷多新的赌徒加入，则会有新的赌庄陆续形成。

但最终，逃脱不掉破产的命运。

在非公平赌博模型下，赌徒破产和赌庄聚集赌资都会加快，且赌庄会以一个正概率不破产。

2. 取球问题

在《机器学习数学基础》的第 5 章 5.5.2 节介绍全概率公式的内容时，有这样一个例题：

假设有两个口袋，第一个口袋里面有 $3$ 个黑球，第二个口袋里面有 $2$ 个黑球、$1$ 个白球。所有的球除了颜色差异之外，其他都一样。随机选一个口袋，并从中取出 $2$ 个球，问取出 $2$ 个黑球的概率是多少？

书中对这个例题，使用全概率公式进行了求解，过程如下：

这个试验的样本空间 $\Omega = \{b_1,b_2,b_3,b_4,b_5,w_1\}$ ，可以根据问题中的“两个口袋”将样本空间划分为 $B_1 = \{b_1,b_2,b_3\}$ 和 $B_2 = \{b_4,b_5,w_1\}$ 。“随机选一个口袋”就是从 $B_1$ 和 $B_2$ 两个划分（事件）中随机选一个，可得：

$P(B_1)=P(B_2)=\frac{1}{2}$

用 $A$ 表示“取出 $2$ 个黑球”事件，根据（5.2.5）式可得：

$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)=\frac{3}{3}\cdot \frac{1}{2}+\frac{1}{3}\cdot \frac{1}{2} = \frac{2}{3}$

有读者认为上式中的 $P(A|B_2)$ 不应该是 $\frac{1}{3}$ ，应该是 $\frac{2}{3}$ 。对此，解答如下，请参考。

为了简化问题，把 $B_2 = \{b_4,b_5,w_1\}$ 单独拿出来，即转化为一个简单问题：有一个口袋里有三个球，其中两个黑色的，一个白色的，问从该口袋中取出两个黑色球的个概率是多少。

如果从操作的层面看，这个问题可以通过两个操作方式，都达到最终得到两个黑色球的结果：

• 方式 1：先取一个黑球，以不放回的方式抽取，再去第二个黑球，最终得到了两个黑球。
• 方式 2：同时从口袋中取出两个黑球。

下面根据上述两种方式，分别计算最终得到两个黑球的概率。

方式 1：一个一个地连续抽取

解法 1：

用 $H_1$ 表示“取出第 1 个黑球”事件，则：$P(H_1)=\frac{2}{3}$ 。

用 $H_2$ 表示“取出第 2 个黑球”事件，由于不放回抽取，$H_2$ 是在 $H_1$ 发生的条件下发生的，当 $H_1$ 发生后，口袋里面还有一个黑球和一个白球。所以：$P(H_2|H_1)=\frac{1}{2}$ 。

根据条件概率公式，连续取两个黑球的概率 $P(H_1H_2)$ 应为：

$P(H_1H_2)=P(H_1)P(H_2|H_1)=\frac{2}{3}\cdot\frac{1}{2}=\frac{1}{3}$

故，按照不放回抽样方式，连续从 $B_2 = \{b_4,b_5,w_1\}$ 中抽取到两个黑球的概率是 $\frac{1}{3}$

解法 2：

假设袋子中的球都有编号，如 $B_2 = \{b_4,b_5,w_1\}$ 中显示的那样，可以根据排列，计算出每两个球的排列可能，即样本空间的样本点数量，或基本事件总数：

$|\Omega|=A_3^2=\frac{3!}{(3-2)!}=6$

连续抽取两个黑球，可能是 $b_4b_5$ ，也可能是 $b_5b_4$ ，即事件“连续抽取两个黑球”的样本点数量为：$A_2^2=2$ 。

所以，连续抽取两个黑球的概率是：$P=\frac{2}{6}=\frac{1}{3}$

方式 2：从口袋中同时取出

不需要对口袋 $B_2 = \{b_4,b_5,w_1\}$ 中的球进行排列，只要组合即可。

样本空间的样本点数量为：$\binom{3}{2}=\frac{3!}{2!(3-2)!}=3$

一次性抽取两个黑球的事件数量，显然为 1 ，或者计算：$\binom{2}{2}=1$

所以，从口袋 $B_2 = \{b_4,b_5,w_1\}$ 中一次性抽取到两个黑球的概率为 $\frac{1}{3}$

参考文献

[1]. 概率引论. 何书元. 北京：高等教育出版社. 2012.1，第1版

作者: 老齐
链接: http://math.itdiffer.com/probability_space.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!