大数定律和中心极限定理¶

大数定律及中心极限定理这两类是极限定理中的基本理论。

• 大数定律主要探讨随机变量序列的平均在一定条件下的稳定性规律
• 中心极限定理的主要研究内容是大量的随机变量之和的分布在一定条件下可以用正态分布去逼近

大数定律¶

概率意义下的极限定义¶

设 \(\{Y_n, n\ge 1\}\) 为一随机变量序列，\(c\) 为一常数。若对任意的 \(\varepsilon \gt 0\) ，都有：

则称 \(\{Y_n, n\ge 1\}\) 依概率收敛于 \(c\)，记为 \(Y_n \xrightarrow P c, n\rightarrow +\infty\) 。

显然，上式亦可表示为：

对于多元变量，依概率收敛有如下性质：

马尔可夫不等式 *¶

若随机变量 \(Y\) 的 \(k\) 阶(原点)矩阵存在，则对任意 \(\varepsilon \gt 0\) ，有：

亦可写作：

切比雪夫不等式¶

设随机变量 \(X\) 的数学期望和方差存在 , 分别记为 \(\mu, \sigma ^2\) , 则对任意的 \(\varepsilon \gt 0\), 有：

亦可写作：

例 1：

题面： 总体服从指数分布 \(E(0.1)\)，抽取一个容量为 5 的样本，根据切比雪夫不等式来估计：

三个大数定律¶

设 \(\{X_i, i\ge 1\}\) 为一随机变量序列，若存在常数序列 \(\{c_n, n\ge 1\}\) 使得对于任意 \(\varepsilon \gt 0\) 有以下成立：

即 \(n\rightarrow +\infty\) 时，有 \(\frac{1}{n}\sum_{i=1}^n X_i -c_n \xrightarrow p 0\) ，则称随机变量序列 \(\{X_i, i\ge 1\}\) 服从弱大数定律，简称大数定律。

实践中 , 人们发现大量测量值的算术平均具有一定的稳定性, 这一稳定性其实就是大数定律的客观背景. 最早的大数定律是著名的伯努利大数定律。

[定义] 伯努利大数定律：

设 \(n_A\) 为 \(n\) 重伯努利试验中事件 \(A\) 的发生次数，\(p\) 为其每次试验中发生的概率，则对任意 \(\varepsilon \gt 0\) 有：

[定义] 切比雪夫大数定律：

设 \(X_1, X_2, ...,X_n\) 相互独立，具有相同数学期望 \(\mu\) 和方差 \(\sigma^2\) 。则当 \(n\rightarrow \infty\) 时：

[定义] 辛钦大数定律：

设 \(X_1, X_2, ...,X_n\) 独立同分布，且 \(E(X_i) =\mu\) ，则当 \(n\rightarrow \infty\) 时：

例 1：

设 \(X_1, X_2, ...,X_n\) 独立同分布，且 \(X_i\sim U(0,1)\)，则 \(\sqrt[n]{X_1 X_2 ...X_n}\) 依概率收敛吗?

解答：

令 \(Y_n = \sqrt[n]{X_1 X_2 ...X_n}, \ Z_n =\ln Y_n\) ，则 \(Z_n= \frac{1}{n}(\ln X_1 +.. +\ln X_n)\)

根据辛钦大数定律可得 \(Z_n \xrightarrow p -1\) ，由依概率收敛的性质得到 \(Y_n \xrightarrow p e^{-1}\)

中心极限定理¶

[定义] 独立同分布的中心极限定理：

设 \(X_1, X_2, ...,X_n\) 独立同分布，\(E(X_i)=\mu, D(X_i)=\sigma^2\)，则对任意实数 \(x\) :

因此，当 \(n\) 充分大时:

[推论] 隶莫弗-拉普拉斯中心极限定理：

设 \(n_A\) 为在 n 重伯努利试验中事件 \(A\) 发生的次数，\(p\) 为事件 \(A\) 在每次试验中发生的概率，即 \(P(A)=p\)，则对任意 \(x\in R\) ：

即，当 \(n\) 足够大时：