概率论基础回顾：CS228概率论笔记精要

技术文档

概率论基础回顾：CS228概率论笔记精要

引言

概率论是机器学习和人工智能领域的重要数学基础。本文将基于CS228课程笔记中的概率论部分，系统性地介绍概率论的核心概念，帮助读者建立坚实的理论基础。

概率空间的基本要素

1.1 概率空间的三元组

概率空间由三个基本要素构成：(Ω, F, P)，其中：

样本空间Ω：表示随机实验所有可能结果的集合
事件空间F：是Ω的σ-代数子集，包含我们感兴趣的所有事件
概率测度P：为每个事件分配概率值

σ-代数的三大特性：

包含全集Ω
对补集运算封闭
对可数并集运算封闭

概率测度的关键性质：

非负性：P(A) ≥ 0
归一性：P(Ω) = 1
可数可加性：对互斥事件序列成立

1.2 条件概率与独立性

条件概率公式：$$ P(A|B) = \\frac{P(A∩B)}{P(B)} $$

两个事件独立的定义：$$ P(A∩B) = P(A)P(B) $$

1.3 概率链式法则

对于多个事件A₁到Aₖ，联合概率可分解为：$$ P(∩_{i=1}^k A_i) = P(A₁)P(A₂|A₁)...P(Aₖ|∩_{i=1}^{k-1} A_i) $$

随机变量及其特性

2.1 随机变量的定义

随机变量是将样本空间Ω映射到实数集R的函数X:Ω→R。根据取值特点可分为：

离散型随机变量：取值有限或可数
连续型随机变量：取值不可数

2.2 描述随机变量的三大函数

累积分布函数(CDF)：$$ F_X(x) = P(X ≤ x) $$

性质：
- 单调不减
- 右连续
- 极限值：F(-∞)=0，F(+∞)=1
概率质量函数(PMF)（离散型）：$$ p_X(x) = P(X=x) $$
概率密度函数(PDF)（连续型）：$$ f_X(x) = \\frac{dF_X(x)}{dx} $$

2.3 期望与方差

期望衡量随机变量的平均值：$$ E[g(X)] = ∫ g(x)f_X(x)dx $$（连续型）$$ E[g(X)] = Σ g(x)p_X(x) $$（离散型）

方差衡量分布的离散程度：$$ Var(X) = E[(X-E[X])²] = E[X²] - E[X]² $$

常见概率分布

离散型分布

伯努利分布：单次二元试验$$ P(X=1)=p, P(X=0)=1-p $$
二项分布：n次独立伯努利试验的成功次数$$ P(X=k) = C(n,k)p^k(1-p)^{n-k} $$
泊松分布：描述稀有事件发生次数$$ P(X=k) = e^{-λ}λ^k/k! $$

连续型分布

均匀分布：区间内等概率$$ f(x) = 1/(b-a), x∈[a,b] $$
指数分布：无记忆性的等待时间$$ f(x) = λe^{-λx}, x≥0 $$
正态分布：最重要的连续分布$$ f(x) = \\frac{1}{√{2π}σ}e^{-\\frac{(x-μ)^2}{2σ^2}} $$

多随机变量分析

3.1 联合分布与边缘分布

对于两个随机变量X和Y：

联合CDF：$$ F_{XY}(x,y) = P(X≤x, Y≤y) $$

边缘分布可通过积分获得：$$ F_X(x) = \\lim_{y→∞} F_{XY}(x,y) $$

3.2 条件分布与独立性

条件概率密度：$$ f_{X|Y}(x|y) = \\frac{f_{XY}(x,y)}{f_Y(y)} $$

独立性判定：$$ f_{XY}(x,y) = f_X(x)f_Y(y) $$

应用实例分析

案例1：计算均匀分布U(0,1)的期望和方差

期望：E[X] = ∫₀¹ x dx = 1/2
E[X²] = ∫₀¹ x² dx = 1/3
方差：Var(X) = 1/3 - (1/2)² = 1/12

案例2：指示函数的期望对于g(x)=1{x∈A}，有：E[g(X)] = P(X∈A)

总结

本文系统梳理了概率论的核心概念，从基础的概率空间到随机变量的各种特性，再到常见概率分布和多随机变量分析。这些概念构成了机器学习算法的数学基础，特别是在概率图模型、贝叶斯方法等地方有广泛应用。理解这些基础概念对于深入学习CS228课程后续内容至关重要。

建议读者通过具体例子加深理解，例如用Python实现各种分布的模拟，可视化CDF和PDF曲线，这将有助于建立直观认识。在实际应用中，这些概率工具将帮助我们建模不确定性、进行统计推断和做出数据驱动的决策。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

概率论基础回顾：CS228概率论笔记精要