大数定理

大数定理,也称为大数法则、大数定律。描述了相当多次试验结果的定律

大数定理的表现形式:

  • 弱大数定理(WLLN),也称为辛钦定理:样本均值依概率收敛于期望值。

    ,当 ,即,对任意正数

  • 强大数定理(SLLN):样本均值以概率 收敛于期望值。

    ,当 ,即

  • 切比雪夫定理的特殊情况:

    为相互独立的随机变量,其数学期望为: ,方差为:

    则序列 依概率收敛于 (即收敛于此数列的数学期望

    换言之,在定理条件下,当 无限变大时, 个随机变量的算术平均将变成一个常数。

  • 伯努利大数定律

    设在 次独立重复伯努利试验中,事件 发生的次数为 ,事件 在每次试验中发生的总体概率为 代表样本发生事件 的频率。

    则对任意正数 ,伯努利大数定律表明:

    換言之,事件发生的频率依概率收敛于事件的总体概率。

    該定理以严格的数学形式表达了频率的稳定性,也就是说当 很大时,事件发生的频率于总体概率有较大偏差的可能性很小。

参考资料

[1]. 维基百科:大数定律

[2]. 依概率收敛,是随机变量的收敛方式之一。设 是一个随机变量序列, 是一个随机变量。如果对于任意的正实数 ,都有:

那么称序列 依概率收敛到

由此可知,依概率收敛,指的是 之间存在差距的可能性将会随着 的增大而趋于零。

依概率收敛是一种常见的收敛性质。依概率收敛比依分布收敛更强,比平均收敛则要弱。

如果一个随机变量序列依概率收敛到某一个随机变量,则它们也一定依分布收敛到这个随机变量。反过来则不然:只有当一个随机变量序列依分布收敛到一个常数的时候,才能够推出它们也依概率收敛到这个常数

[3]. 维基百科:依概率收敛

作者: 老齐
链接: http://math.itdiffer.com/largenumbers.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""