定义
VoiceCraft 是一种神经编解码语言模型(neural codec language model)，其核心功能是在已有语音录音的波形层面进行定向修改，可以插入、删除或替换任意词句[3]。经编辑后的音频在主观听感上与未编辑的原始录音接近，被改动之外的部分保持原样[1]。
该模型同时具备零样本文本转语音(zero-shot TTS)能力，即无需针对特定说话人重新训练，仅凭几秒参考音频即可合成目标音色的语音[4]。在这两项任务上，它被作者报告为在真实场景数据上达到当时的最优性能[1]。
原理
VoiceCraft 把语音编辑和零样本语音合成统一看作同一个序列生成问题：前者的本质是在序列中间填补缺失片段，后者的本质是在序列末尾继续生成[5]。为此，模型先将语音经神经音频编解码器离散化为若干码本的标记(token)序列，再由仅含解码器的 Transformer 结构以自回归方式预测这些标记[5]。
作者提出的标记重排(token rearrangement)包含两个步骤。第一步是因果掩码，把待修改的片段替换为掩码标记并移到序列末端，使模型在填补这些标记时既能利用前文也能利用后文信息；第二步是延迟堆叠，按码本序号在时间维度上错开各码本标记，从而高效地建模多码本并行输出[6]。
在推理阶段，模型根据原始音频、其转录文本以及目标文本，判断需要改动的区间，然后自回归地生成该区间的码本标记，再解码还原为波形；区间左右两侧未被选中的音频不受影响[7]。训练目标是对序列中每一个标记计算交叉熵损失，既包括待预测的目标片段，也包括已知的前后文片段，因而每个时间步都能获得梯度[8]。
发展历程
VoiceCraft 由德克萨斯大学奥斯汀分校等机构的研究者提出，相关论文《VoiceCraft: Zero-Shot Speech Editing and Text-to-Speech in the Wild》于 2024 年 8 月在泰国曼谷举行的第 62 届计算语言学协会年会(ACL)上发表[1]。作者同时开源了代码、模型权重与数据，并提供多个规模的模型权重[4]。
为评测语音编辑，论文提出了名为 RealEdit 的数据集，其特点是音频取自真实场景、包含多样的口音、说话风格、录音条件以及背景噪声和音乐[2][1]。
2025 年，同一研究团队推出 VoiceCraft-X，将 VoiceCraft 扩展为多语言系统，覆盖英语、普通话、韩语、日语、西班牙语、法语、德语、荷兰语、意大利语、葡萄牙语和波兰语共 11 种语言[9]。该版本改用 Qwen3 大语言模型作为跨语言文本处理模块，免去音素转换步骤，并将文本标记与语音标记按时间对齐交错排列，使编辑与合成在同一框架内完成[8]。相关论文发表于 2025 年的自然语言处理经验方法会议(EMNLP)[9]。
应用
VoiceCraft 的直接用途是语音后期编辑。在有声书、网络视频和播客等场景中，若讲者说错词句，可以只重写文本而无需重新录制整段音频，模型会生成替换片段并保持原有音色与背景环境[1]。
借助零样本语音合成能力，该模型可用于语音克隆式配音，只需数秒参考音频即可模仿未见过的说话人音色朗读新文本[4]。VoiceCraft-X 进一步把这一能力扩展到多语言，可在语言数据有限的条件下生成相应语言的语音[9]。
在内容生产之外，这类模型也被用于合成语音的检测与溯源研究，其开源代码和模型权重为语音合成与人工智能安全研究提供了实验基础[6]。
局限
生成过程中偶尔会出现较长的静音段和刮擦声，原论文采用多次采样并选取较短结果的策略来缓解，但作者认为仍需要更简洁高效的方法[6]。后续研究指出，VoiceCraft 存在类似大语言模型注意力失误的幻觉问题：当目标文本较复杂、例如同一词元多次出现时，模型可能漏词、重复词或与目标文本对齐错误，从而抬高词错误率[10]。
语音合成中的真伪鉴别与安全也是一项未决问题。论文指出，如何为合成语音添加水印并进行检测仍是开放课题，只有几秒参考音频即可克隆音色的能力也带来冒用与虚假信息方面的风险[6]。
多语言版本 VoiceCraft-X 的局限同样被作者列出：其训练数据约 3.2 万小时，少于部分同期最优模型，低资源语言尤其不足，可能影响对语音细节的刻画；当前仅覆盖 11 种语言，距离全球语言多样性仍有明显差距；此外该版本基于 0.6B 参数规模的架构，更大模型规模带来的收益尚待系统评估[8]。
参见
参考资料
- aclanthology.org 上的网页 [引用日期2026-10-14]
- nsf.gov 上的网页 [引用日期2026-10-14]
- mit.edu 上的网页 [引用日期2026-10-14]
- cjwbw/voicecraft – Replicate [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- 2024.acl-long.673(PDF) [引用日期2026-10-14]
- cjwbw/voicecraft:db97f631 - cjwbw /voicecraft:db97f631 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- aclanthology.org 上的网页 [引用日期2026-10-14]
- huang25c_interspeech(PDF) [引用日期2026-10-14]