大数定理，也称为大数法则、大数定律

大数定理，也称为大数法则、大数定律。描述了相当多次试验结果的定律。

大数定理的表现形式：

弱大数定理（WLLN），也称为辛钦定理：样本均值依概率收敛于期望值。

强大数定理（SLLN）：样本均值以概率 收敛于期望值。

设 为相互独立的随机变量，其数学期望为： ，方差为：

则序列 依概率收敛于 （即收敛于此数列的数学期望 ）

换言之，在定理条件下，当 无限变大时， 个随机变量的算术平均将变成一个常数。

设在 次独立重复伯努利试验中，事件 发生的次数为 ，事件 在每次试验中发生的总体概率为 ， 代表样本发生事件 的频率。

则对任意正数 ，伯努利大数定律表明：

换言之，事件发生的频率依概率收敛于事件的总体概率。

该定理以严格的数学形式表达了频率的稳定性，也就是说当 很大时，事件发生的频率于总体概率有较大偏差的可能性很小。

[2]. 依概率收敛，是随机变量的收敛方式之一。设 是一个随机变量序列， 是一个随机变量。如果对于任意的正实数 ，都有：

由此可知，依概率收敛，指的是 和 之间存在差距的可能性将会随着 的增大而趋于零。

依概率收敛是一种常见的收敛性质。依概率收敛比依分布收敛更强，比平均收敛则要弱。

如果一个随机变量序列依概率收敛到某一个随机变量，则它们也一定依分布收敛到这个随机变量。反过来则不然：只有当一个随机变量序列依分布收敛到一个常数的时候，才能够推出它们也依概率收敛到这个常数。

本文原创发布于“机器学习”转载请注明出处谢谢合作!