> 文档中心 > 2022年语音合成(TTS)和语音识别(ASR)年度总结

2022年语音合成(TTS)和语音识别(ASR)年度总结

论文统计每月更新一次,主要跟踪语音合成语音识别的发展状况。很多文章都是在会议后才发出,但不影响统计。统计过程难免存在疏漏,因此统计结果仅供参考。

所有文章语音合成领域统计列表请访问:

http://yqli.tech/page/tts_paper.html

语音识别领域论文统计请访问:

http://yqli.tech/page/asr_paper.html

开源语音数据查询:

http://yqli.tech/page/data.html

如何查找语音资料请参考文章:

https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg

文章统计excel :

https://docs.google.com/spreadsheets/d/11YYOg6i6UXw19_g1JRaXGNhvt1zhG24RgOXCzZlqZGE/edit?usp=sharing

AIGC统计:

http://yqli.tech/page/aigc.html

语音合成篇

表一给出具体分类说明。2022年语音合成有446篇文章,比2021多一些。图二和图三是2022年和2021年在每个研究方向上对比柱状图和饼状图,除了声学模型网络结构和声音转换相对稍微下降,其它方向都有上升。本年度的热点主要分布在声学模型、声码器、歌唱合成、声音转换和多模态。我们知道Diffusion模型在图像领域很火,同样在语音合成领域有24篇文章采用该技术。最后,自从vits端到端以来,很多开源平台也都支持该网络,今年也有十来篇文章做端到端,比如trinitts naturalspeech等等,端到端依然会是接下来几年的研究热点。

表一  语音合成分类说明

分类

说明

前端

多音字,韵律,g2p等等。

声学模型

语言特征转声学特征,attention工作,多说话人以及双重学习

声码器

波形生成

个性化

少数据,脏数据应用等自适应

多语言和多说话人

多语言模型、多说话人模型

歌唱合成

歌唱和音乐合成

情感

风格和情感

多模态

主要搜集talking head文章

声音转换

基于GAN方案和特征解耦方案

S2S

 speech-to-speech

其它

基于EEG合成,开源数据,MOS评测以及语音合成的应用

图一  2022和2021语音合成论文总量

图二 2022年和2021年语音合成各领域文章分布柱状图

图三 2022年和2021年语音合成各领域文章分布饼状图

语音合成的文章列表请访问:

http://yqli.tech/page/tts_paper.html

语音识别篇

语音识别的文章分类参照表二说明。2022年语音识别文章有641篇,由于今年刚开始统计语音识别文章,所以没有对比2021年情况。由图四和图五可知,声学模型性能优化、无监督学习、多语言系统、个性化、speech translation以及speaker diarization等地方研究较多,其中开源工具espnet、wenet、k2、paddlespeech等都搞得如火如荼。

可参见煮酒论开源语音工具包:

https://mp.weixin.qq.com/s/ZFD2mUAC1B6ZH5JEf5yJmg

表二 语音识别分类说明

分类

说明

general

包括传统、混合语音识别,以及对asr的优化

ctc

ctc优化

rnn-t

rnn-t的优化

aed

aed优化

dataset

开源数据库

data aug

数据增广

lm

语言模型研究

multilingual

多语音系统以及code-switch

personal

少数据量自适应以及个性化ASR

rescoring

多种模型联合打分

unsupervised

无监督,半监督或者自监督学习

accent ,dialect

口音和方言

other

其它方向研究,包括系统评价标准等等

robust 鲁棒性
speaker diarization speaker diarization

multichannel

多通道
speech translation 语音翻译
multi-modal 多模态

图四 语音识别文章分布柱状图(单位:篇)

图五 语音识别文章分布饼状图

语音识别的文章列表请访问

http://yqli.tech/page/asr_paper.html