【机器学习】在不确定的光影中：机器学习与概率论的心灵共舞

文章目录

• • 概率与统计基础：解锁机器学习的数据洞察之门
  • 前言
  • 一、概率论基础
  • • 1.1 概率的基本概念与性质
    • • 1.1.1 概率的定义
      • 1.1.2 样本空间与事件
      • 1.1.3 互斥事件与独立事件
      • 1.1.4 概率的计算方法
    • 1.2 条件概率与独立性
    • • 1.2.1 条件概率
      • 1.2.2 独立事件
    • 1.3 随机变量
    • • 1.3.1 随机变量的定义
      • 1.3.2 离散随机变量
      • 1.3.3 连续随机变量
      • 1.3.4 随机变量的期望与方差
      • 1.3.5 随机变量的应用
  • 二、常见的概率分布
  • • 2.1 离散概率分布
    • • 2.1.1 伯努利分布
      • 2.1.2 二项分布
      • 2.1.3 泊松分布
    • 2.2 连续概率分布
    • • 2.2.1 正态分布
      • 2.2.2 指数分布
      • 2.2.3 卡方分布
      • 2.2.4 t分布
  • 写在最后

概率与统计基础：解锁机器学习的数据洞察之门

💬 欢迎讨论：在阅读过程中有任何疑问，欢迎在评论区留言，我们一起交流学习！

👍 点赞、收藏与分享：如果你觉得这篇文章对你有帮助，记得点赞、收藏，并分享给更多对机器学习感兴趣的朋友！

🚀 开启数据洞察：概率与统计是理解数据分布、评估模型性能的重要工具。让我们一起踏入这扇通往数据世界的门，揭开机器学习背后的统计奥秘。

前言

机器学习已经成为现代科技的核心驱动力之一，而背后支撑这一技术的基础之一就是概率论。在机器学习中，概率论帮助我们理解和处理不确定性，进而建立模型进行预测和决策。无论是在分类、回归任务，还是在强化学习与生成模型中，概率论都起着至关重要的作用。

对于刚接触机器学习的朋友来说，学习概率论可能会感到有些抽象。其实，概率论在机器学习中并非一门完全独立的学科，而是为解决实际问题提供了一种框架和思维方式。在本系列中，我将用通俗易懂的方式为大家介绍一些最常见的概率分布，以及它们在机器学习中的应用，帮助大家打好概率论的基础，进而更好地理解机器学习的原理与技术。

通过掌握这些基础概念，您将能够更好地理解机器学习算法的工作原理，并为以后的学习奠定坚实的理论基础。希望本系列内容能帮助您在机器学习的旅程中迈出第一步，走得更加稳健。

一、概率论基础

1.1 概率的基本概念与性质

在机器学习和数据科学中，概率是一个非常重要的工具，它帮助我们理解和量化不确定性。掌握概率的基本概念，将为后续深入学习统计学和机器学习提供坚实的基础。

1.1.1 概率的定义

概率（Probability）是一个数学概念，用来表示某一事件发生的可能性。它的取值范围在0到1之间，其中：

• 0 表示事件不可能发生。
• 1 表示事件必然发生。

定义： 假设事件A是一个随机事件，概率记作 $P(A)$，表示事件A发生的可能性：
$$0\le P(A)\le 1$$

概率的基本性质：

1. 非负性：任何事件的概率都是非负的，即 $P(A)\ge 0$。
2. 归一性：样本空间S中所有可能的事件总概率和为1，即 $P(S)=1$。
3. 可加性：对于互不相交的事件A和B， $P(A\cup B)=P(A)+P(B)$。
   • 如果事件A和事件B不重合（互斥），它们发生的概率相加。

例子：
假设你掷一枚公平的硬币，事件A：正面朝上，事件B：反面朝上。我们知道：

• $P(A)=0.5$
• $P(B)=0.5$

因为正面和反面是互斥事件（不可能同时发生），所以：
$$P(A\cup B)=P(A)+P(B)=0.5+0.5=1$$

1.1.2 样本空间与事件

• 样本空间（Sample Space）是所有可能结果的集合，通常用字母 $\Omega$ 表示。样本空间中的每个元素叫做样本点。

• 事件（Event）是样本空间的一个子集，是我们关心的某一组可能结果。

例如，掷一个六面骰子的例子：

• 样本空间： Ω = { 1 , 2 , 3 , 4 , 5 , 6 } \\Omega = \\{1, 2, 3, 4, 5, 6\\} Ω={ 1,2,3,4,5,6}
• 事件A：掷出偶数点数 A = { 2 , 4 , 6 } A = \\{2, 4, 6\\} A={ 2,4,6}
• 事件B：掷出大于3的点数 B = { 4 , 5 , 6 } B = \\{4, 5, 6\\} B={ 4,5,6}

1.1.3 互斥事件与独立事件

• 互斥事件：两个事件称为互斥事件，如果它们不能同时发生。换句话说，若事件A和事件B是互斥的，则 $P(A\cap B)=0$。

  例子： 在掷骰子的例子中，事件A（掷出偶数点数）与事件B（掷出大于3的点数）是互斥的，因为它们没有共同的元素。

• 独立事件：两个事件称为独立事件，如果一个事件的发生不影响另一个事件的发生。换句话说，若事件A和事件B是独立的，则：
  $$P(A\cap B)=P(A)\cdot P(B)$$

  例子： 掷一枚硬币和掷一个骰子是独立事件，因为硬币的正反面不影响骰子的点数。

1.1.4 概率的计算方法

概率的计算通常有两种常用的方法：频率法和经典法。

• 频率法：基于大量实验结果的观察，通过计算事件发生的频率来估计概率。
  P ( A ) = 事件A发生的次数 实验总次数 P(A) = \\frac{\\text{事件A发生的次数}}{\\text{实验总次数}} P(A)=实验总次数事件A发生的次数​

• 经典法：基于所有可能结果的对称性和等可能性，计算每个事件发生的概率。例如，掷一枚公平的硬币，正面朝上的概率是0.5，反面朝上的概率也是0.5。

1.2 条件概率与独立性

在概率论中，条件概率和独立性是理解事件之间关系的重要概念。掌握这些概念能够帮助你更好地分析和建模数据，尤其是在处理复杂的机器学习问题时。

1.2.1 条件概率

条件概率描述的是在某个事件已发生的条件下，另一个事件发生的概率。它帮助我们理解事件之间的依赖关系。

定义：
事件B发生的条件下，事件A发生的概率记作$P(A|B)$，其定义为：
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) P(A|B) = \\frac{P(A \\cap B)}{P(B)} P(A∣B)=P(B)P(A∩B)​
前提是$P(B)>0$。

解释：

• $P(A\cap B)$：事件A和事件B同时发生的概率。
• $P(B)$：事件B发生的概率。

例子：
假设你有一副标准的52张扑克牌，事件A：抽到一张红心牌，事件B：抽到一张数字牌（2到10）。

• 样本空间： Ω = { 所有 52 张牌 } \\Omega = \\{所有52张牌\\} Ω={ 所有52张牌}
• 事件A：红心牌，共13张。
• 事件B：数字牌，每个花色有9张（2到10），共36张。
• 事件A ∩ B：红心数字牌，共9张。

计算条件概率$P(A|B)$：
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) = 9 52 36 52 = 9 36 = 1 4 = 0.25 P(A|B) = \\frac{P(A \\cap B)}{P(B)} = \\frac{\\frac{9}{52}}{\\frac{36}{52}} = \\frac{9}{36} = \\frac{1}{4} = 0.25 P(A∣B)=P(B)P(A∩B)​=5236​529​​=369​=41​=0.25

Python代码示例：

# 定义总牌数total_cards = 52# 定义事件A：红心牌数red_hearts = 13# 定义事件B：数字牌数number_cards = 36# 定义事件A ∩ B：红心数字牌数red_hearts_numbers = 9# 计算条件概率 P(A|B)P_A_and_B = red_hearts_numbers / total_cardsP_B = number_cards / total_cardsP_A_given_B = P_A_and_B / P_Bprint(f\"P(A|B) = { P_A_given_B}\") # 输出: P(A|B) = 0.25

1.2.2 独立事件

独立事件指的是两个事件之间没有任何依赖关系，一个事件的发生与否不影响另一个事件发生的概率。

定义：
如果对于任意事件A和B，有：
$$P(A\cap B)=P(A)\cdot$$