期望

定义

一个分布的均值(mean),也称为期望值(expected value),通常记作:

连续型随机变量:

离散型随机变量:

定理

定理1:总期望定理(law of total expectation)也称为迭代期望定理(law of iterated expectation),即多个随机变量的期望。

证明:

不妨设 是离散随机变量,

​​

定理2: 的数学期望有限,概率密度 关于 对称: ,则

证明:这时 是奇函数: 。因为 中的积分等于 0 ,所以有:

推论: 正态分布 的数学期望是 ,均匀分布 的数学期望是

计算

定理3: 的函数, 的函数,

(1)若 有概率密度 ,则:

时,有:

(2)若 有联合密度 ,则:

时,有:

(3)若 是非负随机变量,则:

证明

(3)对于 ,有:

因为对 ,有 ,所以通过上式可得:

证毕。

定理4: 的函数, 的函数,

(1)若 有离散概率密度 ,则:

时,有:

(2)若 有离散概率分布 ,则:

时,有:

(3)若 是非负随机变量,则:

证明

(3)设 ,则:

又:

性质

  • (线性)
  • 对于 个独立随机变量:

定理5: 是常数,则有以下结果:

(1)线性组合 的数学期望存在,而且:

(2)如果 相互独立,则乘积 的数学期望存在,并且:

(3)如果 ,则

证明

不妨设 有联合密度

(1)由【定理3】得:

所以:

(2)因为有 ,其中 的概率密度,则:

所以:

(3)定义 ,则有 ,所以:

常用的数学期望

1. 伯努利分布

,则

2. 二项分布

,则

证明: ,由

得到:

单次试验成功的概率 越大,则在 次独立重复试验中,平均成功的次数越多。

3. 泊松分布

,则

证明:由

得到:

时, ,所以:

又因为

所以:

参数 是泊松分布 的数学期望。

4. 几何分布

服从参数为 的几何分布,则

证明:

得到:

说明:单次试验中的成功概率 越小,首次成功所需要的平均试验次数就越多。

5. 指数分布

,则

证明:因为 的概率密度: ,所以:

参考资料

[1]. Kevin P. Murphy. Probabilistic Machine Learning An Introduction[M]:43-44. The MIT Press.

[2]. 概率引论. 何书元. 北京:高等教育出版社. 2012.1,第1版

作者: 老齐
链接: http://math.itdiffer.com/mean.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""