切比雪夫不等式的理解以及推导【超详细笔记】

文章目录

• 参考教程
• 一、意义
• • 1. 正态分布的 3σ 法则
  • 2. 不等式的含义
  • 3. 不等式的意义
• 二、不等式的证明
• • 1. 马尔科夫不等式
  • • 马尔可夫不等式证明($Y$ 为非负随机变量 ）
  • 2. 切比雪夫不等式推导

参考教程

一个视频，彻底理解切比雪夫不等式

一、意义

1. 正态分布的 3σ 法则

• 不等式：切比雪夫不等式 P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\\{|X - EX| \\geq \\varepsilon\\} \\leq \\frac{DX}{\\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX​，用于描述随机变量偏离期望的概率上界
• 法则：正态分布的 3σ 法则
  
• 分布表示：正态分布 N ( μ , σ 2 ) N(\\mu, \\sigma^2) N(μ,σ2)（图中标注对应分布形态 ）
• 概率占比：
  • $\mu \pm \sigma$ 区间概率约 68.2%
  • $\mu \pm 2\sigma$ 区间概率约 95.4%
  • $\mu \pm 3\sigma$ 区间概率约 99.7%

2. 不等式的含义

切比雪夫不等式公式的另一种形式：

P { ∣ X − E X ∣ < ε } ≥ 1 − D X ε 2 P\\{|X - EX| < \\varepsilon\\} \\geq 1 - \\frac{DX}{\\varepsilon^2} P{∣X−EX∣<ε}≥1−ε2DX​

（其中 ( X ) 是随机变量，( EX ) 为其期望，( DX ) 为方差，( \\varepsilon ) 是任意正数 ）

$|X-EX|$就是X到均值的距离
这个公式就是对$|X-EX|<\epsilon$这件事的概率做估计

3. 不等式的意义

• 当 $\epsilon$ = $\sigma$ 时：
  P { ∣ X − E X ∣ < σ } ≥ 1 − σ 2 σ 2 = 0 P\\{|X - EX| < \\sigma\\} \\geq 1 - \\frac{\\sigma^2}{\\sigma^2} = 0 P{∣X−EX∣<σ}≥1−σ2σ2​=0

• 当 $\epsilon$ = $2\sigma$ 时：
  P { ∣ X − E X ∣ < 2 σ } ≥ 1 − σ 2 ( 2 σ ) 2 = 1 − 1 4 = 3 4 = 75 % P\\{|X - EX| < 2\\sigma\\} \\geq 1 - \\frac{\\sigma^2}{(2\\sigma)^2} = 1 - \\frac{1}{4} = \\frac{3}{4} = 75\\% P{∣X−EX∣<2σ}≥1−(2σ)2σ2​=1−41​=43​=75%
  由此可见切比雪夫的估计比较保守

假如随便画一个分布，求阴影部分概率，切比雪夫不等式告诉我们这个概率一定大于等于75%，这就是其高明之处

二、不等式的证明

1. 马尔科夫不等式

• 公式： P { Y ≥ a } ≤ E Y a P\\{ Y \\geq a \\} \\leq \\frac{EY}{a} P{Y≥a}≤aEY​ ($Y$ 取非负 ）
  

马尔可夫不等式证明($Y$ 为非负随机变量 ）

1. 由期望定义，$Y$ 的数学期望：
   E Y = ∫ 0 + ∞ y ⋅ f ( y )   d y EY = \\int_{0}^{+\\infty} y \\cdot f(y) \\, dy EY=∫0+∞​y⋅f(y)dy

2. 因$Y\ge 0$，且积分区间可拆分，当$y\ge a$ 时$y\ge a$，故：
   E Y ≥ ∫ a + ∞ y ⋅ f ( y )   d y ≥ ∫ a + ∞ a ⋅ f ( y )   d y EY \\geq \\int_{a}^{+\\infty} y \\cdot f(y) \\, dy \\geq \\int_{a}^{+\\infty} a \\cdot f(y) \\, dy EY≥∫a+∞​y⋅f(y)dy≥∫a+∞​a⋅f(y)dy

3. 化简右侧积分：
   ∫ a + ∞ a ⋅ f ( y )   d y = a ⋅ ∫ a + ∞ f ( y )   d y = a ⋅ P { Y ≥ a } \\int_{a}^{+\\infty} a \\cdot f(y) \\, dy = a \\cdot \\int_{a}^{+\\infty} f(y) \\, dy = a \\cdot P\\{ Y \\geq a \\} ∫a+∞​a⋅f(y)dy=a⋅∫a+∞​f(y)dy=a⋅P{Y≥a}

4. 综上，整理得：
   P { Y ≥ a } ≤ E Y a P\\{ Y \\geq a \\} \\leq \\frac{EY}{a} P{Y≥a}≤aEY​

2. 切比雪夫不等式推导

1. 基础：马尔可夫不等式
   P { Y ≥ a } ≤ E Y a P\\{ Y \\geq a \\} \\leq \\frac{EY}{a} P{Y≥a}≤aEY​
   （其中 ( Y ) 为非负随机变量 ）

2. 变量代换：
   令 Y = ( X − E X ) 2Y = (X - EX)^2 Y=(X−EX)2， a = ε 2a = \\varepsilon^2 a=ε2

3. 代入推导：

   • 第一步推导：
     P { ( X − E X ) 2 ≥ ε 2 } ≤ E [ ( X − E X ) 2 ] ε 2 P\\{ (X - EX)^2 \\geq \\varepsilon^2 \\} \\leq \\frac{E\\left[(X - EX)^2\\right]}{\\varepsilon^2} P{(X−EX)2≥ε2}≤ε2E[(X−EX)2]​
   • 因 E [ ( X − E X ) 2 ] = D X E\\left[(X - EX)^2\\right] = DX E[(X−EX)2]=DX（方差定义 ），且 ( X − E X ) 2 ≥ ε 2 ⇔ ∣ X − E X ∣ ≥ ε (X - EX)^2 \\geq \\varepsilon^2 \\Leftrightarrow |X - EX| \\geq \\varepsilon (X−EX)2≥ε2⇔∣X−EX∣≥ε ，进一步得：
     P { ∣ X − E X ∣ ≥ ε } ≤ D X ε 2 P\\{ |X - EX| \\geq \\varepsilon \\} \\leq \\frac{DX}{\\varepsilon^2} P{∣X−EX∣≥ε}≤ε2DX​