wav2vec是Meta(原Facebook)人工智能研究院提出的一系列语音表示学习模型的统称, 属于自监督学习在语音领域的代表工作。它直接从原始音频波形中学习语音的通用表示, 再通过少量标注数据微调即可完成语音识别等下游任务, 从而降低了对人工转写数据的依赖。wav2vec 2.0是该系列影响最大的版本, 2020年发布, 在仅使用10分钟标注数据并借助5.3万小时无标注语音预训练的条件下, 于Librispeech测试集上取得了4.8/8.2的词错误率。
定义
wav2vec是一类以原始语音波形为输入的语音表示学习模型, 其名称由波形(waveform)与向量(vector)两个词组合而来, 含义是把波形直接映射为向量形式的语音表示[1]。与依赖人工标注转写文本的传统方案不同, 这类模型通过自监督方式在大量无标注语音上预训练, 学到的表示可以迁移到多种语音下游任务[1]。
其一经提出就受到关注的原因在于它改变了语音识别的数据使用方式。传统语音识别系统往往需要数千小时已转写语音才能达到可用精度, 而世界上大多数语言并不具备这样的数据条件[2]。wav2vec 2.0表明, 在无标注语音上完成预训练后, 极少量标注数据即可支撑较高精度的识别[3]。
原理
wav2vec 2.0的模型由三部分构成: 多层卷积特征编码器、量化模块和基于Transformer的上下文网络[4]。特征编码器接收原始音频, 输出逐帧的潜在语音表示; 上下文网络在此基础上建模整段序列的依赖关系, 得到上下文化表示; 量化模块则把连续表示离散化为有限的语音单元, 作为自监督学习的目标[4]。
预训练任务借鉴了掩码语言建模的思路。模型在潜在空间中遮盖一部分时间步, 然后要求根据上下文判断这些位置原本对应的量化单元, 并通过对比损失把正确单元与从其他位置采样得到的干扰项区分开来[4]。对比损失的形式为 $L_{M}=-\log\frac{\exp(\mathrm{sim}(c_{t},q_{t})/k)}{\sum_{\tilde{q}\sim Q_{t}}\exp(\mathrm{sim}(c_{t},\tilde{q})/k)}$, 其中 $c_{t}$ 是上下文化表示, $q_{t}$ 是该时刻的量化目标[5]。
量化采用乘积量化方式: 给定 $G$ 组码本、每组 $V$ 个条目, 从每组中各选一个条目拼接并做线性变换, 得到最终的离散表示; 码本条目的选择通过Gumbel softmax实现, 使离散化的过程可以端到端求导[4]。训练目标由对比损失、码本多样性损失和特征编码器惩罚项三部分组成, 后两项用于避免码本坍塌[5]。
与更早的版本相比, wav2vec 2.0的一个关键区别是把量化单元的学习和上下文表示的学习放在同一个端到端框架中完成, 而此前的方法需要先固定离散单元再训练上下文模型[4]。在微调阶段, 通常在预训练模型顶部加一层线性输出层, 配合连接主义时间分类目标来预测字符或音素序列[6]。
发展历程
该系列的第一项工作wav2vec由Meta人工智能研究院的研究者于2019年提出, 目标是解决语音识别中人工标注成本高昂的问题[1]。初代模型使用多层卷积网络把音频编码到潜在空间, 再用上下文网络给出上下文化表示, 通过预测未来帧并配合负采样构成对比学习任务, 在大量无标注语音上完成训练[1]。
随后出现了vq-wav2vec, 它先对语音表示做量化, 得到离散单元后再学习上下文表示, 但两步流程相对繁琐[7]。2020年发布的wav2vec 2.0把这两个步骤合并为端到端训练, 并引入了Transformer上下文编码器[4]。该成果发表于第34届神经信息处理系统大会, 作者为Alexei Baevski、Henry Zhou、Abdelrahman Mohamed和Michael Auli[8]。
此后的发展沿着多语言扩展与效率优化两条路线推进。XLSR-53在多语言无标注语音上预训练, 使用共享量化模块促使不同语言共享离散单元, 支持53种语言; XLS-R在此基础上把训练数据从5.6万小时扩展到接近50万小时, 语言数量从53种增加到128种[7]。Meta的大规模多语言语音项目则基于wav2vec 2.0把支持语言扩展到1100种以上, 相比此前约100种语言的覆盖范围有大幅提升[9]。
应用
最直接的应用是自动语音识别。预训练模型经微调后可以作为声学模型直接转写音频, 在Librispeech完整960小时标注数据上取得1.8/3.3的词错误率; 仅使用1小时标注数据时, 其表现超过此前使用100倍标注数据的方法[3]。
除语音识别外, 该模型也被用于说话人验证与语种识别等任务。在VoxCeleb1测试集上微调后取得了3.61%的等错误率, 在AP17-OLR语种识别数据集上, 全长语音条件下的等错误率为3.47%[5]。这些结果说明自监督预训练学到的表示并不局限于转写任务[5]。
在语音翻译中, 可以在预训练编码器之上接一个随机初始化的解码器, 再在平行语料上联合微调, 构成序列到序列的翻译模型[10]。此外, 该框架还被用于韵律边界检测、语音情感分析等任务[11]。
局限
计算开销是主要的制约因素。wav2vec 2.0的训练需要大规模算力, 基础版模型约9500万参数, 大模型约3.17亿参数[7]。有评审意见指出, 其资源需求使结果不易复现, 也在一定程度上限制了能够参与研究的机构范围[8]。
训练稳定性同样受到关注。有评审者提出, 对比损失建立在第一阶段离散化所产生的内部表示之上, 而这些表示本身也在学习过程中, 所有出现在对比损失中的量都是变量, 这可能使训练变得不稳定[8]。
从学习方法本身看, 判别式对比学习侧重于输入与输出之间的映射关系, 对数据内在结构的刻画不够充分, 因而处理被遮盖数据的能力较弱, 对韵律等影响识别效果的信息捕捉也可能不足[12]。此外, 该系列模型对噪声和低质量语音的鲁棒性仍有改进空间[1]。
多语言场景下还存在数据层面的限制。大规模多语种语音数据中, 许多语言包含的说话人数量较少, 通常只有一位, 这会影响模型对说话人变化的适应能力[9]。随着支持语言数量增加, 性能会出现一定下降, 但从61种语言扩展到1107种语言时, 字符错误率仅增加约0.4%[9]。
参见
参考资料
- 语音预训练模型wav2vec [引用日期2026-10-14]
- venturebeat.com 上的网页 [引用日期2026-10-14]
- README [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- acm.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- 92d1e1eb1cd6f9fba3227870bb6d7f07-Review [引用日期2026-10-14]
- 规模性能双杀OpenAI，Meta语音达LLaMA级里程碑！开源MMS模型可识别1100+语言 [引用日期2026-10-14]
- INTERSPEECH 2021 [引用日期2026-10-14]
- acm.org 上的文件 [引用日期2026-10-14]
- google.com 上的网页 [引用日期2026-10-14]