方差

定义

方差(variance)度量分布的“伸展”程度,通常记作:

​​

得到一个重要结论:

从测量的角度理解方差:

是对长度为 的物体的测量值,则 是测量误差, 是测量误差的平方。如果测量仪器无系统偏差(即 ),则 是测量误差平方的平均,正是方差。用测量误差平方的平均,即均方差,衡量测量值和真实值之间的差异。

有离散分布 时,有:

有概率密度 时,有:

标准差(standard deviation)定义为:

定理

定理1: 如果 有相同的概率分布,则它们有相同的数学期望和方差。

性质

  • 性质1:

证明:根据定义: 得:

  • 性质2: 是独立随机变量,则

证明:使用方差的定义

因为 是独立随机变量,有 ,所以:

  • 推论1:独立随机变量 ,即:

  • 推论2:独立随机变量 ,常数 ,即

  • 性质3:独立随机变量

条件方差公式

条件方差公式(conditional variance formula)也称为总方差定理(law of total variance):

,则:

常用的方差

1. 伯努利分布

,则

证明

因为是伯努利分布,故

由参考资料 [3] 中关于伯努利分布的期望可知:

2. 二项分布

,则:

证明

首先,计算一个二项分布的结论公式:

又: (此结论在后续还会用到)

所以:

根据参考资料 [3] 可知,二项分布均值

得:

根据 得:

3. 泊松分布

,则

证明 根据参考资料 [3] 知泊松分布期望 ,有:

根据 得:

4. 几何分布

有概率分布 ,则

证明

由参考资料 [3] 知几何分布的期望

根据 得:

参考资料

[1]. Kevin P. Murphy. Probabilistic Machine Learning An Introduction[M]:43-44. The MIT Press.

[2]. 概率引论. 何书元. 北京:高等教育出版社. 2012.1,第1版

[3]. 期望

作者: 老齐
链接: http://math.itdiffer.com/variance.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""