概率基础

概率

前苏联数学家柯尔莫哥洛夫(Andrey Nikolaevich Kolmogorov)提出的概率公理化体系,他通过三条公理定义了概率:

设样本空间 ,对任一事件 赋予一个实数函数 ,记作 ,如果 $P(A)$ 满足:

  1. 非负性:对于任何事件 ,有
  2. 规范性:对于必然事件 ,有
  3. 可加性:设 是两两互斥的事件( 即 ),有 ,即若干个互斥事件之和的概率等于各事件概率的和。

则为 为事件 概率

《机器学习数学基础》 中,对概率的定义有完整的阐述,其他与概率基本概念相关的内容,可以参考本网站的:概率基础有关内容。

将一枚硬币抛 $10$ 次,会不会 $H、T$ 各出现 $5$ 次?“实践是检验真理的唯一标准”,历史上真的有不少人做了这个“实验”,如表5-1-1所示:

表5-1-1

实验者 $n$ $n_H$ $f_n(H)$
得摩根 2048 1061 0.5181
蒲丰 4040 2048 0.5069
K · 皮尔逊 12000 6019 0.5016
K · 皮尔逊 24000 12012 0.5005

(数据来源:《概率论与数理统计》,盛骤等编著,高等教育出版社,2008.6)

其中 $n$ 表示试验次数,$n_H$ 表示出现 $H$ 的次数,$f_n(H) = \frac{n_H}{n}$ 表示 $H$ 发生的频率——注意,不是概率。对于抛硬币这个试验,还可以重复更多次数,结果都显示为频率 $f_n(H)$ 的值趋近于 $0.5$ 。类似这样的情况,不仅仅在抛硬币试验上,人们在长期实践中认识到频率具有稳定性,或者说这是“全人类多年的集体经验”(陈希孺《概率论与数理统计》),即试验次数不断增大时,频率稳定在一个数的附近。所以,可以用这个数表征事件发生的可能性,它就被人们定义为概率(probability),例如刚才提到的 $0.5$ 。由于概率是基于大量事件结果而来,所以它是概率的统计定义

在历史上,较早对概率进行系统研究的,是大名鼎鼎的帕斯卡(Blaise Pascal,有一种编程语言Pascal,就是为了向这位大师致敬而命名)和费马(Pierre de Fermat),他们两个是以通信的方式就“掷骰子和比赛奖金分配”问题进行了研究,这还起源于一个狂热的赌徒向帕斯卡的提问。

“频率的稳定性”不仅仅是经验总结,概率论中的“大数定理”(或“大数定律”)从理论上对此也做出了解释。雅各布·伯努利(Jacob Bernoulli,伯努利家族在数学、科学上名人辈出,图5-1-3是其中的代表人物)所提出的被后世称为“伯努利大数定理”,即“频率收敛于概率”,是最早的理论证明。此后,对大数定理的研究成为了概率论中一个很重要的课题,有许多深刻的研究成果(请参阅陈希孺《概率论与数理统计》。这些理论研究成果,支撑我们在实际应用中,当实验次数很大时,可以用事件的频率来代替事件的概率,这就是生产实际中估计概率的方法。

在心理统计学教材中,对概率基本知识的介绍较为简单,主要是基于概率的统计定义进行介绍。

  • 概率(probability):某随机事件出现的可能性的大小。
  • 随机试验(random experiment):对随机现象(或随机变量)的观察。
  • 随机事件(random event):随机试验的可能结果。
  • 基本空间(fundamental space):由所有可能发生的试验结果所构成的集合。
  • 后验概率(posterior probability):在大量试验中随机事件出现次数的稳定比率。
  • 古典概型(classical probability model):该模型必须满足两个条件:(a)可能结果的数目是有限的;(b)各个结果出现的可能性被认为是相等的。
  • 先验概率(prior probability):在古典概型中,随机事件的概率为该事件所包含可能结果个数m与所有可能结果的总数n的比值。

补充

根据概率的公理,可以得出如下性质

  • (A1):

  • (A2):若 是两两互斥的事件,则:

  • (A3):设 是两个事件,若 ,则:

  • (A4):对任一事件

  • (A5):对任一事件

  • (A6):对任意两事件 ,有

概率的运算

  • 不可能事件(impossible event):在一定条件下必然不会发生的事件。
  • 必然事件(certain event):在一定条件下必然会发生的事件。
  • 事件的和(并)(sum of events):若干个事件至少有一个发生。
  • 事件的积(交)(product of events):若干个事件同时发生。
  • 对立事件(complementary events):如果在试验中事件A和事件B必有一个发生且仅有一个发生,则称这两个事件互为对立事件。
  • 互斥事件(exclusive events):在一次试验中不可能同时出现的若干个事件。
  • 独立事件(independent events):一个事件是否发生不会影响另一事件,它们就是相互独立的,称为独立事件。
  • 小概率事件(small probability event):发生概率非常小的事件,被认为是在一次试验中实际上不可能发生的事件。
  • 条件概率(conditional probability):如果 是一定条件组下的两个随机事件,且 ,则称在 发生的前提下 发生的概率为条件概率。

补充(以下内容来自参考资料 [1] 的 5.1.3 节)

在概率论中,除了“抛硬币”和“掷骰子”两个典型试验外,“随机取球”也是常常被使用的案例。

例如:一个口袋中有 个同样的球(颜色、体积、质量、材料等都一样),随机从口袋中取出一个球的事件发生概率就是 。取出一个球之后,如果把这个球放回袋中,搅匀后再取一个球,这种取球的方式叫做放回抽样;取出一个球后,如果不把球放回袋中,第二次从剩余的球中取球,这种取球方式叫做不放回抽样

在这个示例,如果采用放回取样,每次取球的事件之间互不影响,称之为独立事件(参阅5.2.1事件的独立性)。如果采用不放回取样,发生在后面的取球事件会受到前面的取球事件影响,即各次事件是相关的。在相关事件中,计算每次随机取球的概率就不得不考虑前面的结果了。

依然使用“随机取球”的示例,不过现在假设口袋中的 5 个球是由 个白球和 个黑球组成(除了颜色之外,球的体积、质量、材料等都一样),以不放回抽样的方式取球,图5-1-5所示的树状图显示了每次取球的概率。

图 5-1-5

如果连续取到两个黑球,结合图5-1-5,其概率:

  • 表示第一次取到黑球事件,其概率为
  • 在第二次取黑球之前,袋子里面还有 个白球 个黑球,用 表示第二次取到黑球事件,但此事件是以 为前提条件的,用 表示;
  • 连续取到两个黑球的概率为

形式所表示的概率,就是条件概率(conditional probability):

事件 在事件 发生的条件下发生的概率,称为条件概率,记作 ,读作 “ 发生的条件下发生的概率”,或者 “ given ”。

当事件 和事件 都发生时,就实现了连续取到两个黑球,记作 或者 ,由上面的示例可知:

(5.1.3)

由(5.1.3)式可以得到条件概率的定义式:

(5.1.4)

其中, 。根据(5.1.4)式可得到条件概率如下性质:

  • (B1):若 ,则
  • (B2):若 ,则 ,故
  • (B3):若 ,则 ,故 (注:根据5.1.2节中概率性质(A4), )。

参考资料

[1]. 齐伟,机器学习数学基础,北京:电子工业出版社

作者: 老齐
链接: http://math.itdiffer.com/chapter03.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!

http://math.itdiffer.com/images/0.jpg

results matching ""

    No results matching ""