PyTorch生成式人工智能（18）——循环神经网络详解与实现
PyTorch生成式人工智能（18）——循环神经网络详解与实现
-
- 0. 前言
- 1. 文本生成的挑战
- 2. 循环神经网络
-
- 2.1 文本数据
- 2.2 循环神经网络原理
- 3. 长短期记忆网络
- 3. 自然语言处理基础
-
- 3.1 分词
- 3.2 词嵌入
- 3.3 词嵌入在自然语言处理中的应用
- 小结
- 系列链接
0. 前言
我们已经学习了如何生成数字和图像等内容。从本节开始，我们将主要聚焦于文本生成。人类语言极其复杂且充满细微差别，不仅仅涉及语法和词汇的理解，还包括上下文、语气和文化背景等。成功生成连贯且语境适当的文本是一项重大挑战，需要深入理解和处理语言。
1. 文本生成的挑战
人类主要通过语言进行交流，能够生成语言文本的人工智能可以更自然地与用户互动，使技术变得更加易于使用。文本生成有广泛的应用，包括自动化客户服务回复、创作文章和电影剧本创作、帮助创意写作，甚至构建个人助手。
在本节中，我们将学习如何解决文本生成建模中的三个主要挑战。首先，文本是序列数据，由按特定顺序排列的数据点组成，每个数据点按顺序排列，以反映数据内部的顺序和相互依赖性。由于序列的顺序敏感性，预测序列结果具有挑战性，改变元素的顺序会改变它们的含义。第二，文本存在长程依赖性，文本中某一部分的含义可能依赖于文本中更早出现的元素，理解和建模这些长程依赖性对于生成连贯的文本至关重要。最后，人类语言具有歧义性和上下文依赖性。训练模型理解语言的细微差别、习语和文化背景，生成上下文准确的文本非常具有挑战。
本节将介绍一种专门用于处理序列数据(如文本或时间序列)的神经网络：循环神经网络 (Recurrent Neural Network
