【概率论】 随机变量序列的收敛性_随机变量的收敛性

给定概率空间 $(\Omega ,P,\mathcal{F})$

1. 依概率收敛（Convergence in Probability）
• 定义：

随机变量序列 XnX_nXn​ 依概率收敛于随机变量 $X$（记作 Xn→PXX_n \\overset{P}{\\to} XXn​→PX），如果对任意 $ϵ>0$：
lim⁡n→∞P(ω,∣Xn(ω)−X(ω)∣≥ϵ)=0. \\lim_{n \\to \\infty} P(\\omega,|X_n(\\omega) - X(\\omega)| \\geq \\epsilon) = 0. n→∞lim​P(ω,∣Xn​(ω)−X(ω)∣≥ϵ)=0.

2. 几乎必然收敛（Almost Sure Convergence）
• 定义：

XnX_nXn​ 几乎必然收敛于 $X$（记作 Xn→a.s.XX_n \\overset{a.s.}{\\to} XXn​→a.s.X），如果：
P(ω,lim⁡n→∞Xn(ω)=X(ω))=1. P\\left(\\omega,\\lim_{n \\to \\infty} X_n(\\omega) = X(\\omega)\\right) = 1. P(ω,n→∞lim​Xn​(ω)=X(ω))=1.

3. 均方收敛（Convergence in Mean Square）
• 定义：

XnX_nXn​ 均方收敛于 $X$（记作 Xn→L2XX_n \\overset{L^2}{\\to} XXn​→L2X），如果：
lim⁡n→∞E[∣Xn−X∣2]=0. \\lim_{n \\to \\infty} E\\left[|X_n - X|^2\\right] = 0. n→∞lim​E[∣Xn​−X∣2]=0.

4. 依分布收敛（Convergence in Distribution）
• 定义：

XnX_nXn​ 依分布收敛于 $X$（记作 Xn→dXX_n \\overset{d}{\\to} XXn​→dX），如果对 $X$ 的分布函数 $F$ 的所有连续点 $x$：
lim⁡n→∞P(ω,Xn(ω)≤x)=P(ω,X(ω)≤x). \\lim_{n \\to \\infty} P(\\omega, X_n(\\omega) \\leq x) = P(\\omega, X(\\omega) \\leq x). n→∞lim​P(ω,Xn​(ω)≤x)=P(ω,X(ω)≤x).

收敛性强弱关系
四种收敛性的强弱关系如下（箭头表示“蕴含”）：

#mermaid-svg-GGKctVFudRa3bf2W {font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GGKctVFudRa3bf2W .error-icon{fill:#552222;}#mermaid-svg-GGKctVFudRa3bf2W .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-GGKctVFudRa3bf2W .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-GGKctVFudRa3bf2W .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-GGKctVFudRa3bf2W .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-GGKctVFudRa3bf2W .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-GGKctVFudRa3bf2W .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-GGKctVFudRa3bf2W .marker{fill:#333333;stroke:#333333;}#mermaid-svg-GGKctVFudRa3bf2W .marker.cross{stroke:#333333;}#mermaid-svg-GGKctVFudRa3bf2W svg{font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-GGKctVFudRa3bf2W .label{font-family:\"trebuchet ms\",verdana,arial,sans-serif;color:#333;}#mermaid-svg-GGKctVFudRa3bf2W .cluster-label text{fill:#333;}#mermaid-svg-GGKctVFudRa3bf2W .cluster-label span{color:#333;}#mermaid-svg-GGKctVFudRa3bf2W .label text,#mermaid-svg-GGKctVFudRa3bf2W span{fill:#333;color:#333;}#mermaid-svg-GGKctVFudRa3bf2W .node rect,#mermaid-svg-GGKctVFudRa3bf2W .node circle,#mermaid-svg-GGKctVFudRa3bf2W .node ellipse,#mermaid-svg-GGKctVFudRa3bf2W .node polygon,#mermaid-svg-GGKctVFudRa3bf2W .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-GGKctVFudRa3bf2W .node .label{text-align:center;}#mermaid-svg-GGKctVFudRa3bf2W .node.clickable{cursor:pointer;}#mermaid-svg-GGKctVFudRa3bf2W .arrowheadPath{fill:#333333;}#mermaid-svg-GGKctVFudRa3bf2W .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-GGKctVFudRa3bf2W .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-GGKctVFudRa3bf2W .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-GGKctVFudRa3bf2W .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-GGKctVFudRa3bf2W .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-GGKctVFudRa3bf2W .cluster text{fill:#333;}#mermaid-svg-GGKctVFudRa3bf2W .cluster span{color:#333;}#mermaid-svg-GGKctVFudRa3bf2W div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-GGKctVFudRa3bf2W :root{--mermaid-font-family:\"trebuchet ms\",verdana,arial,sans-serif;}几乎必然收敛依概率收敛依分布收敛均方收敛

附证明

几乎必然收敛随机数列必然满足依概率收敛

证明：
根据几乎处处收敛的定义
P(ω,lim⁡n→∞Xn(ω)=X(ω))=1. P\\left(\\omega,\\lim_{n \\to \\infty} X_n(\\omega) = X(\\omega)\\right) = 1. P(ω,n→∞lim​Xn​(ω)=X(ω))=1.
其中
P(ω,lim⁡n→∞Xn(ω)=X(ω))=P(ω,∀ε>0,∃N,∀n≥N,∣Xn(ω)−X(ω)∣0∪N=1∞∩n=N∞{ω,∣Xn(ω)−X(ω)∣0, \\exists N, \\forall n\\geq N, |X_n(\\omega)-X(\\omega)|0} \\cup_{N=1}^\\infty\\cap_{n=N}^\\infty \\{\\omega, |X_n(\\omega)-X(\\omega)|<\\varepsilon\\} \\right)=1\\\\ \\end{aligned}==​P(ω,n→∞lim​Xn​(ω)=X(ω))P(ω,∀ε>0,∃N,∀n≥N,∣Xn​(ω)−X(ω)∣<ε)P(∩ε>0​∪N=1∞​∩n=N∞​{ω,∣Xn​(ω)−X(ω)∣<ε})=1​
因此考虑其补集的概率为0， 而其补集可以写为
∪ε>0∩N=1∞∪n=N∞{ω,∣Xn(ω)−X(ω)∣≥ε}\\cup_{\\varepsilon>0} \\cap_{N=1}^\\infty \\cup_{n=N}^\\infty \\{\\omega, |X_n(\\omega)-X(\\omega)|\\geq \\varepsilon\\}∪ε>0​∩N=1∞​∪n=N∞​{ω,∣Xn​(ω)−X(ω)∣≥ε}
记 An(ε)={ω,∣Xn(ω)−X(ω)∣≥ε}A_n(\\varepsilon)= \\{\\omega, |X_n(\\omega)-X(\\omega)|\\geq \\varepsilon\\}An​(ε)={ω,∣Xn​(ω)−X(ω)∣≥ε}
显然 AN⊂∪n=N∞{ω,∣Xn(ω)−X(ω)∣≥ε}A_N \\subset \\cup_{n=N}^\\infty \\{\\omega, |X_n(\\omega)-X(\\omega)|\\geq \\varepsilon\\}AN​⊂∪n=N∞​{ω,∣Xn​(ω)−X(ω)∣≥ε}. 因此

lim⁡n→∞P(An(ε))≤P(lim sup⁡n→∞An(ε))=0\\lim_{n\\to\\infty}P(A_n(\\varepsilon)) \\leq P(\\limsup_{n\\to\\infty} A_n(\\varepsilon))=0n→∞lim​P(An​(ε))≤P(n→∞limsup​An​(ε))=0

推出 XnX_nXn​ 是依概率收敛的。

均方收敛推出依概率收敛。

证明：
已知
lim⁡n→∞E[∣Xn−X∣2]=0. \\lim_{n \\to \\infty} E\\left[|X_n - X|^2\\right] = 0. n→∞lim​E[∣Xn​−X∣2]=0.
则 $\forall \epsilon >0$, $\exists N$, $\forall n\ge N$,
∫Ω(Xn(ω)−X(ω))2P(dω)≤ε\\int_{\\Omega} (X_n(\\omega)-X(\\omega))^2 P(d \\omega) \\leq \\varepsilon∫Ω​(Xn​(ω)−X(ω))2P(dω)≤ε.
令 An(ε)={ω,∣Xn(ω)−X(ω)∣≥ε}A_n(\\varepsilon)= \\{\\omega, |X_n(\\omega)-X(\\omega)|\\geq \\varepsilon\\}An​(ε)={ω,∣Xn​(ω)−X(ω)∣≥ε}， （反证法）假设
存在 ε0>0\\varepsilon_0>0ε0​>0, $\forall N$, $\exists n\ge N$,
lim⁡n→∞P(An(ε0))≥c\\lim_{n\\to \\infty} P(A_n(\\varepsilon_0)) \\geq cn→∞lim​P(An​(ε0​))≥c
则
∫Ω(Xn(ω)−X(ω))2P(dω)=∫An(Xn(ω)−X(ω))2P(dω)+∫Anc(Xn(ω)−X(ω))2P(dω)≥ε0c>0\\int_{\\Omega} (X_n(\\omega)-X(\\omega))^2 P(d \\omega) =\\int_{A_n} (X_n(\\omega)-X(\\omega))^2 P(d \\omega) + \\int_{A_n^c} (X_n(\\omega)-X(\\omega))^2 P(d \\omega) \\geq \\varepsilon_0c>0 ∫Ω​(Xn​(ω)−X(ω))2P(dω)=∫An​​(Xn​(ω)−X(ω))2P(dω)+∫Anc​​(Xn​(ω)−X(ω))2P(dω)≥ε0​c>0
与均方收敛矛盾。

依概率收敛推出依分布收敛

证明：
设 $x$ 是 FXF_XFX​ 的一个连续点。我们需要证明：

lim⁡n→∞FXn(x)=FX(x)\\lim_{n \\to \\infty} F_{X_n}(x) = F_X(x)n→∞lim​FXn​​(x)=FX​(x)

对于任意的 $ϵ>0$，考虑以下事件：

{Xn≤x}={Xn≤x,∣Xn−X∣<ϵ}∪{Xn≤x,∣Xn−X∣≥ϵ}\\{X_n \\leq x\\} = \\{X_n \\leq x, |X_n - X| < \\epsilon\\} \\cup \\{X_n \\leq x, |X_n - X| \\geq \\epsilon\\}{Xn​≤x}={Xn​≤x,∣Xn​−X∣<ϵ}∪{Xn​≤x,∣Xn​−X∣≥ϵ}

因此，

P(Xn≤x)=P(Xn≤x,∣Xn−X∣<ϵ)+P(Xn≤x,∣Xn−X∣≥ϵ)P(X_n \\leq x) = P(X_n \\leq x, |X_n - X| < \\epsilon) + P(X_n \\leq x, |X_n - X| \\geq \\epsilon)P(Xn​≤x)=P(Xn​≤x,∣Xn​−X∣<ϵ)+P(Xn​≤x,∣Xn​−X∣≥ϵ)

注意到：

P(Xn≤x,∣Xn−X∣<ϵ)≤P(X≤x+ϵ)P(X_n \\leq x, |X_n - X| < \\epsilon) \\leq P(X \\leq x + \\epsilon)P(Xn​≤x,∣Xn​−X∣<ϵ)≤P(X≤x+ϵ)

因为如果 Xn≤xX_n \\leq xXn​≤x 且 ∣Xn−X∣<ϵ|X_n - X| < \\epsilon∣Xn​−X∣<ϵ，则 X<Xn+ϵ≤x+ϵX < X_n + \\epsilon \\leq x + \\epsilonX<Xn​+ϵ≤x+ϵ。

同样，

P(Xn≤x,∣Xn−X∣≥ϵ)≤P(∣Xn−X∣≥ϵ)P(X_n \\leq x, |X_n - X| \\geq \\epsilon) \\leq P(|X_n - X| \\geq \\epsilon)P(Xn​≤x,∣Xn​−X∣≥ϵ)≤P(∣Xn​−X∣≥ϵ)

因此得到：

P(Xn≤x)≤P(X≤x+ϵ)+P(∣Xn−X∣≥ϵ)P(X_n \\leq x) \\leq P(X \\leq x + \\epsilon) + P(|X_n - X| \\geq \\epsilon)P(Xn​≤x)≤P(X≤x+ϵ)+P(∣Xn​−X∣≥ϵ)

类似地，考虑 {X≤x−ϵ}\\{X \\leq x - \\epsilon\\}{X≤x−ϵ}，可以写出：

{X≤x−ϵ}={X≤x−ϵ,∣Xn−X∣<ϵ}∪{X≤x−ϵ,∣Xn−X∣≥ϵ}\\{X \\leq x - \\epsilon\\} = \\{X \\leq x - \\epsilon, |X_n - X| < \\epsilon\\} \\cup \\{X \\leq x - \\epsilon, |X_n - X| \\geq \\epsilon\\}{X≤x−ϵ}={X≤x−ϵ,∣Xn​−X∣<ϵ}∪{X≤x−ϵ,∣Xn​−X∣≥ϵ}

因此，

P(X≤x−ϵ)≤P(Xn≤x)+P(∣Xn−X∣≥ϵ)P(X \\leq x - \\epsilon) \\leq P(X_n \\leq x) + P(|X_n - X| \\geq \\epsilon)P(X≤x−ϵ)≤P(Xn​≤x)+P(∣Xn​−X∣≥ϵ)

即：

P(Xn≤x)≥P(X≤x−ϵ)−P(∣Xn−X∣≥ϵ)P(X_n \\leq x) \\geq P(X \\leq x - \\epsilon) - P(|X_n - X| \\geq \\epsilon)P(Xn​≤x)≥P(X≤x−ϵ)−P(∣Xn​−X∣≥ϵ)

综上，我们有：

P(X≤x−ϵ)−P(∣Xn−X∣≥ϵ)≤P(Xn≤x)≤P(X≤x+ϵ)+P(∣Xn−X∣≥ϵ)P(X \\leq x - \\epsilon) - P(|X_n - X| \\geq \\epsilon) \\leq P(X_n \\leq x) \\leq P(X \\leq x + \\epsilon) + P(|X_n - X| \\geq \\epsilon)P(X≤x−ϵ)−P(∣Xn​−X∣≥ϵ)≤P(Xn​≤x)≤P(X≤x+ϵ)+P(∣Xn​−X∣≥ϵ)

令 $n\to \infty$，由于 Xn→PXX_n \\xrightarrow{P} XXn​P​X，有 P(∣Xn−X∣≥ϵ)→0P(|X_n - X| \\geq \\epsilon) \\to 0P(∣Xn​−X∣≥ϵ)→0，因此：

P(X≤x−ϵ)≤lim inf⁡n→∞P(Xn≤x)≤lim sup⁡n→∞P(Xn≤x)≤P(X≤x+ϵ)P(X \\leq x - \\epsilon) \\leq \\liminf_{n \\to \\infty} P(X_n \\leq x) \\leq \\limsup_{n \\to \\infty} P(X_n \\leq x) \\leq P(X \\leq x + \\epsilon)P(X≤x−ϵ)≤n→∞liminf​P(Xn​≤x)≤n→∞limsup​P(Xn​≤x)≤P(X≤x+ϵ)

现在，令 $ϵ\to 0$。因为 $x$ 是 FXF_XFX​ 的连续点，所以：

lim⁡ϵ→0P(X≤x−ϵ)=FX(x−)=FX(x)\\lim_{\\epsilon \\to 0} P(X \\leq x - \\epsilon) = F_X(x^-) = F_X(x)ϵ→0lim​P(X≤x−ϵ)=FX​(x−)=FX​(x)
lim⁡ϵ→0P(X≤x+ϵ)=FX(x+)=FX(x)\\lim_{\\epsilon \\to 0} P(X \\leq x + \\epsilon) = F_X(x^+) = F_X(x)ϵ→0lim​P(X≤x+ϵ)=FX​(x+)=FX​(x)

因此，夹逼定理告诉我们：

lim⁡n→∞P(Xn≤x)=FX(x)\\lim_{n \\to \\infty} P(X_n \\leq x) = F_X(x)n→∞lim​P(Xn​≤x)=FX​(x)

即：

lim⁡n→∞FXn(x)=FX(x)\\lim_{n \\to \\infty} F_{X_n}(x) = F_X(x)n→∞lim​FXn​​(x)=FX​(x)