大数定律与中心极限定理：概率论的双子星

目录

• 引言
• 5 大数定律与中心极限定理
• • 5.1 大数定律：频率的稳定性
  • • 5.1.1 辛钦大数定律
    • • 定理内容
    • 5.1.2 伯努利大数定律
    • • 定理内容
    • 5.1.3 切比雪夫大数定律
    • • 定理内容
    • 对比总结表
  • 5.2 中心极限定理：正态分布的普适性
  • • 5.2.1 独立同分布情形
    • • 定理内容
      • 图释
    • 5.2.2 李雅普诺夫定理
    • • 定理内容
      • 核心思想
      • 图释
    • 5.2.3 棣莫弗-拉普拉斯定理
    • • 定理内容
      • 应用条件
      • 图释
    • 对比总结表
  • 5.3 定理对比：LLN vs CLT

引言

当随机现象的个体行为无法预测时，它们的集体行为却呈现出惊人的规律性——大数定律告诉我们频率终将收敛于概率，中心极限定理则揭示随机之和必趋于正态。这两大定理是概率论的巅峰成果，架起了连接概率与统计的宏伟桥梁。

5 大数定律与中心极限定理

5.1 大数定律：频率的稳定性

5.1.1 辛钦大数定律

定理内容

设随机变量序列 X 1 , X 2 ,⋯ X_1, X_2, \\cdots X1​,X2​,⋯ 是独立同分布的，且具有有限期望：
E ( X k ) = μ ( k = 1 , 2 , ⋯   ) E(X_k) = \\mu \\quad (k=1,2,\\cdots) E(Xk​)=μ(k=1,2,⋯)
则对任意 $\epsilon >0$，有：
lim ⁡ n → ∞P ( ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε ) = 1 \\lim_{n \\to \\infty} P\\left( \\left| \\frac{1}{n}\\sum_{k=1}^n X_k - \\mu \\right| < \\varepsilon \\right) = 1 n→∞lim​P( ​n1​k=1∑n​Xk​−μ ​<ε)=1
即：
1 n∑ k = 1 nX k→ Pμ 当  n → ∞ \\frac{1}{n}\\sum_{k=1}^n X_k \\xrightarrow{P} \\mu \\quad \\text{当 } n \\to \\infty n1​k=1∑n​Xk​P ​μ当 n→∞

• 核心思想：在独立同分布、期望存在的情况下，样本均值依概率收敛于总体期望。

• 依概率收敛：随着 $n$ 增大，随机变量 X nX_n Xn​ 与 $c$ 的偏差（绝对值大于 $\epsilon$）的概率趋于 0，即 X nX_n Xn​ 逐渐“接近”常数 $c$。

• 实际应用：用样本均值估计总体均值的基础

---

5.1.2 伯努利大数定律

定理内容

设 n A n_A nA​ 为 $n$ 重伯努利试验中事件 $A$ 发生的次数，$p$ 为每次试验 $A$ 发生的概率，则：
lim ⁡ n → ∞P ( ∣ n A n − p ∣ < ε ) = 1 \\lim_{n \\to \\infty} P\\left( \\left| \\frac{n_A}{n} - p \\right| < \\varepsilon \\right) = 1 n→∞lim​P( ​nnA​​−p ​<ε)=1

• 核心思想：伯努利试验中，事件发生的频率依概率收敛于其理论概率。
• 频率收敛于概率：当 X k X_k Xk​ 为事件 $A$ 的示性函数时（ X k = I A X_k = I_A Xk​=IA​）， 1 n ∑ X k \\frac{1}{n}\\sum X_k n1​∑Xk​ 即频率，$\mu =P(A)$。

5.1.3 切比雪夫大数定律

定理内容

设随机变量序列 X 1 , X 2 ,⋯ X_1, X_2, \\cdots X1​,X2​,⋯ 相互独立，且具有相同的期望和方差：
E ( X k ) = μ , D ( X k ) = σ 2 ( k = 1 , 2 , ⋯   ) E(X_k) = \\mu, \\quad D(X_k) = \\sigma^2 \\quad (k=1,2,\\cdots) E(Xk​)=μ,D(Xk​)=σ2(k=1,2,⋯)
则对任意 $\epsilon >0$，有：
lim ⁡ n → ∞P ( ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε ) = 1 \\lim_{n \\to \\infty} P\\left( \\left| \\frac{1}{n}\\sum_{k=1}^n X_k - \\mu \\right| < \\varepsilon \\right) = 1 n→∞lim​P( ​n1​k=1∑n​Xk​−μ ​<ε)=1

• 核心思想：独立且同期望、方差存在的情况下，样本均值依概率收敛于总体期望。
• 实际应用：保险公司保费定价（大量投保人的平均理赔额趋近期望值）。

---

对比总结表

大数定律类型 条件 结果 特点 辛钦 独立同分布、期望存在 样本均值依概率收敛于期望 最一般的形式，仅需期望存在 伯努利 伯努利试验、频率形式 频率收敛于概率 历史最早，是辛钦的特例 切比雪夫 独立、同期望、同方差 样本均值依概率收敛于期望 要求方差存在，是最常用形式

---

5.2 中心极限定理：正态分布的普适性

5.2.1 独立同分布情形

定理内容

设 { X n } \\{X_n\\} {Xn​} 独立同分布， E( X k )=μ E(X_k)=\\mu E(Xk​)=μ， Var( X k )= σ 2 >0 \\text{Var}(X_k)=\\sigma^2 > 0 Var(Xk​)=σ2>0，则：
∑ k = 1 n X k − n μ n σ → dN ( 0 , 1 ) ( n → ∞ ) \\frac{\\sum_{k=1}^n X_k - n\\mu}{\\sqrt{n}\\sigma} \\xrightarrow{d} N(0,1) \\quad (n \\to \\infty) n ​σ∑k=1n​Xk​−nμ​d ​N(0,1)(n→∞)

图释

#mermaid-svg-gnwmQKBuR6ounOai {font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-gnwmQKBuR6ounOai .error-icon{fill:#552222;}#mermaid-svg-gnwmQKBuR6ounOai .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-gnwmQKBuR6ounOai .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-gnwmQKBuR6ounOai .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-gnwmQKBuR6ounOai .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-gnwmQKBuR6ounOai .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-gnwmQKBuR6ounOai .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-gnwmQKBuR6ounOai .marker{fill:#333333;stroke:#333333;}#mermaid-svg-gnwmQKBuR6ounOai .marker.cross{stroke:#333333;}#mermaid-svg-gnwmQKBuR6ounOai svg{font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-gnwmQKBuR6ounOai .label{font-family:\"trebuchet ms\",verdana,arial,sans-serif;color:#333;}#mermaid-svg-gnwmQKBuR6ounOai .cluster-label text{fill:#333;}#mermaid-svg-gnwmQKBuR6ounOai .cluster-label span{color:#333;}#mermaid-svg-gnwmQKBuR6ounOai .label text,#mermaid-svg-gnwmQKBuR6ounOai span{fill:#333;color:#333;}#mermaid-svg-gnwmQKBuR6ounOai .node rect,#mermaid-svg-gnwmQKBuR6ounOai .node circle,#mermaid-svg-gnwmQKBuR6ounOai .node ellipse,#mermaid-svg-gnwmQKBuR6ounOai .node polygon,#mermaid-svg-gnwmQKBuR6ounOai .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-gnwmQKBuR6ounOai .node .label{text-align:center;}#mermaid-svg-gnwmQKBuR6ounOai .node.clickable{cursor:pointer;}#mermaid-svg-gnwmQKBuR6ounOai .arrowheadPath{fill:#333333;}#mermaid-svg-gnwmQKBuR6ounOai .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-gnwmQKBuR6ounOai .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-gnwmQKBuR6ounOai .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-gnwmQKBuR6ounOai .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-gnwmQKBuR6ounOai .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-gnwmQKBuR6ounOai .cluster text{fill:#333;}#mermaid-svg-gnwmQKBuR6ounOai .cluster span{color:#333;}#mermaid-svg-gnwmQKBuR6ounOai div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-gnwmQKBuR6ounOai :root{--mermaid-font-family:\"trebuchet ms\",verdana,arial,sans-serif;} n个独立变量求和 标准化 任意分布 近似正态分布 标准正态分布

---

5.2.2 李雅普诺夫定理

定理内容

设 { X n } \\{X_n\\} {Xn​} 为独立随机变量序列，满足以下条件：

1. 独立性： X k X_k Xk​ 相互独立；
2. 有限期望和方差： E ( X k ) = μ k E(X_k) = \\mu_k E(Xk​)=μk​， Var ( X k ) = σ k 2 > 0 \\text{Var}(X_k) = \\sigma_k^2 > 0 Var(Xk​)=σk2​>0；
3. 李雅普诺夫条件：存在 $\delta >0$，使得：
   lim ⁡ n → ∞ ∑ k = 1 n E [ ∣ X k − μ k ∣ 2 + δ ]s n 2 + δ = 0 , \\lim_{n \\to \\infty} \\frac{\\sum_{k=1}^n E\\left[|X_k - \\mu_k|^{2+\\delta}\\right]}{s_n^{2+\\delta}} = 0,n→∞lim​sn2+δ​∑k=1n​E[∣Xk​−μk​∣2+δ]​=0,
   其中 s n 2 = ∑ k = 1 nσ k 2 s_n^2 = \\sum_{k=1}^n \\sigma_k^2 sn2​=∑k=1n​σk2​。

则标准化和：
∑ k = 1 n ( X k − μ k ) s n → dN ( 0 , 1 ) ( n → ∞ ) \\frac{\\sum_{k=1}^n (X_k - \\mu_k)}{s_n} \\xrightarrow{d} N(0,1) \\quad (n \\to \\infty) sn​∑k=1n​(Xk​−μk​)​d ​N(0,1)(n→∞)

核心思想

• 放宽独立同分布限制：允许 X k X_k Xk​ 服从不同分布，只需满足李雅普诺夫条件。
• 非对称性容忍：即使单个变量分布不对称，整体和仍趋于正态分布。

图释

#mermaid-svg-27ewIZiN2KUJOzen {font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-27ewIZiN2KUJOzen .error-icon{fill:#552222;}#mermaid-svg-27ewIZiN2KUJOzen .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-27ewIZiN2KUJOzen .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-27ewIZiN2KUJOzen .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-27ewIZiN2KUJOzen .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-27ewIZiN2KUJOzen .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-27ewIZiN2KUJOzen .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-27ewIZiN2KUJOzen .marker{fill:#333333;stroke:#333333;}#mermaid-svg-27ewIZiN2KUJOzen .marker.cross{stroke:#333333;}#mermaid-svg-27ewIZiN2KUJOzen svg{font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-27ewIZiN2KUJOzen .label{font-family:\"trebuchet ms\",verdana,arial,sans-serif;color:#333;}#mermaid-svg-27ewIZiN2KUJOzen .cluster-label text{fill:#333;}#mermaid-svg-27ewIZiN2KUJOzen .cluster-label span{color:#333;}#mermaid-svg-27ewIZiN2KUJOzen .label text,#mermaid-svg-27ewIZiN2KUJOzen span{fill:#333;color:#333;}#mermaid-svg-27ewIZiN2KUJOzen .node rect,#mermaid-svg-27ewIZiN2KUJOzen .node circle,#mermaid-svg-27ewIZiN2KUJOzen .node ellipse,#mermaid-svg-27ewIZiN2KUJOzen .node polygon,#mermaid-svg-27ewIZiN2KUJOzen .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-27ewIZiN2KUJOzen .node .label{text-align:center;}#mermaid-svg-27ewIZiN2KUJOzen .node.clickable{cursor:pointer;}#mermaid-svg-27ewIZiN2KUJOzen .arrowheadPath{fill:#333333;}#mermaid-svg-27ewIZiN2KUJOzen .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-27ewIZiN2KUJOzen .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-27ewIZiN2KUJOzen .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-27ewIZiN2KUJOzen .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-27ewIZiN2KUJOzen .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-27ewIZiN2KUJOzen .cluster text{fill:#333;}#mermaid-svg-27ewIZiN2KUJOzen .cluster span{color:#333;}#mermaid-svg-27ewIZiN2KUJOzen div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-27ewIZiN2KUJOzen :root{--mermaid-font-family:\"trebuchet ms\",verdana,arial,sans-serif;} 求和 满足条件 标准化 不同分布的独立变量 李雅普诺夫条件校验 近似正态分布 标准正态分布

---

5.2.3 棣莫弗-拉普拉斯定理

定理内容

设 Y n ∼b(n,p) Y_n \\sim b(n,p) Yn​∼b(n,p)（二项分布），则：
Y n − n p n p ( 1 − p ) → dN ( 0 , 1 ) ( n → ∞ ) \\frac{Y_n - np}{\\sqrt{np(1-p)}} \\xrightarrow{d} N(0,1) \\quad (n \\to \\infty) np(1−p) ​Yn​−np​d ​N(0,1)(n→∞)

应用条件

当 $np\ge 5$ 且 $n(1-p)\ge 5$ 时，近似效果良好。

图释

#mermaid-svg-6ZOt3W3zZfPAIuJF {font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .error-icon{fill:#552222;}#mermaid-svg-6ZOt3W3zZfPAIuJF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-6ZOt3W3zZfPAIuJF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .marker.cross{stroke:#333333;}#mermaid-svg-6ZOt3W3zZfPAIuJF svg{font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .label{font-family:\"trebuchet ms\",verdana,arial,sans-serif;color:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .cluster-label text{fill:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .cluster-label span{color:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .label text,#mermaid-svg-6ZOt3W3zZfPAIuJF span{fill:#333;color:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .node rect,#mermaid-svg-6ZOt3W3zZfPAIuJF .node circle,#mermaid-svg-6ZOt3W3zZfPAIuJF .node ellipse,#mermaid-svg-6ZOt3W3zZfPAIuJF .node polygon,#mermaid-svg-6ZOt3W3zZfPAIuJF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .node .label{text-align:center;}#mermaid-svg-6ZOt3W3zZfPAIuJF .node.clickable{cursor:pointer;}#mermaid-svg-6ZOt3W3zZfPAIuJF .arrowheadPath{fill:#333333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-6ZOt3W3zZfPAIuJF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-6ZOt3W3zZfPAIuJF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-6ZOt3W3zZfPAIuJF .cluster text{fill:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF .cluster span{color:#333;}#mermaid-svg-6ZOt3W3zZfPAIuJF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-6ZOt3W3zZfPAIuJF :root{--mermaid-font-family:\"trebuchet ms\",verdana,arial,sans-serif;} n次伯努利试验 标准化 二项分布 近似正态分布 标准正态分布

---

对比总结表

定理类型 条件 结论 特点 独立同分布 独立同分布，期望方差存在 标准化和收敛于标准正态分布 最基本形式 李雅普诺夫 独立不同分布，满足李雅普诺夫条件 标准化和收敛于标准正态分布 允许不同分布 棣莫弗-拉普拉斯 二项分布（独立伯努利试验） 标准化和收敛于标准正态分布 特例，二项分布近似

---

5.3 定理对比：LLN vs CLT

特性 大数定律 (LLN) 中心极限定理 (CLT) 核心结论 样本均值 → 期望μ 样本和标准化 → 正态分布 收敛类型 依概率收敛 依分布收敛 误差估计 不提供分布信息 给出近似分布及概率计算 主要用途 证明频率的稳定性 计算大样本下的近似概率 哲学意义 量变产生质变 无序中的有序

LLN描述\"中心趋势\"，CLT描述\"分布形态\"