Transformer实战（14）——微调Transformer语言模型用于文本分类_transformer text-classification

Transformer实战（14）——微调Transformer语言模型用于文本分类

• • 0. 前言
  • 1. 文本分类介绍
  • 2. 微调 BERT 模型进行情感分析
  • 3. 模型推理
  • 小结
  • 系列链接

0. 前言

文本分类 (Text Classification) 广泛应用于舆情监测、邮件过滤、新闻聚类、产品评价等场景。传统方法通常难以充分挖掘文本的深层语义信息，基于 Transformer 的预训练模型(如 BERT、DistilBERT 等)凭借强大的语义表示能力，已在各类文本分类任务上取得了显著提升。本文从文本分类的基本概念出发，学习如何利用 transformers 库对预训练 BERT 模型进行微调，实现高效的文本分类。

1. 文本分类介绍

文本分类 (Text Classification) 是将一个文档(如句子、评论、书籍章节、电子邮件内容等)映射到一个预定义类别列表中的一种方法。在只有两个类别的情况下，分别为正面和负面标签，使用二分类，例如情感分析；对于超过两个类别的情况，称之为多类别分类，其中类别是互斥的；而在多标签分类中类别不是互斥的，这意味着一个文档可以有多个标签。例如，一篇新闻文章的内容可能同时涉及体育和娱乐。此外，我们可能还需要对文档进行评分(范围在 [-1,1] 之间)或对其进行排名(范围在 [1-5] 之间)，可以通过回归模型来解决这类问题，因为输出类型是连续的数值，而不是离散的类别。
Transformer 架构能够高效地解决这些问题。对于句子对任务，如文档相似性或文本蕴含，输入不是单个句子，而是两个句子，如