MusicLM

定义

MusicLM是谷歌研究团队提出的一种生成式人工智能模型，其功能是把自然语言写成的音乐描述转换为对应的音频^[1]。模型输出的音乐在24千赫兹采样率下生成，并能在数分钟内保持风格与结构上的一致^[3]。谷歌研究者把这类任务称为条件音乐生成，即由文本等条件信号驱动音频的产生，而非由人逐音谱写^[1]。

原理

MusicLM把条件音乐生成处理为分层序列到序列的建模任务，先产生代表乐曲高层结构的语义标记，再逐层细化为声学标记，最后还原成音频波形^[1][4]。在时间维度上，生成过程采用自回归方式逐段推进，使模型能够在数分钟内维持连贯性^[5]。

模型组合了若干已有的预训练组件：SoundStream神经音频编解码器把24千赫兹的单声道音频转换成较低帧率的离散表示，w2v-BERT用于提取中间层语义特征，MuLan文本—音乐联合嵌入模型则负责把文字描述与音频在嵌入空间中对齐^[4][6]。研究者把文本和旋律的嵌入一并加入条件，从而在遵循文字描述的同时保留输入旋律的走向^[1]。

训练数据方面，SoundStream与w2v-BERT在自由音乐档案(FMA)数据集上训练，而语义与声学建模阶段的分词器及自回归模型使用了约500万个音频片段、合计约28万小时的音乐数据^[4][7]。评估中，MusicLM与Mubert、Riffusion等基线方法进行了对比，在FAD_VGG指标上音频质量得分更高，在FAD_Trill上与Mubert接近并优于Riffusion^[4]。

发展历程

2023年1月，谷歌发表了题为《MusicLM: Generating Music From Text》的论文，公布了这一模型，同时公开了MusicCaps数据集与示例页面^[1][7]。论文指出，模型在音频质量和对文本描述的依从度两方面都优于此前的系统^[3]。

论文发布时，研究团队表示暂无立即公开该模型的计划，理由涉及训练数据可能包含受版权保护内容等伦理问题^[7][8]。此后谷歌与职业音乐人合作举办工作坊，为训练数据集制作音乐素材^[9]。

2023年5月10日，谷歌在I/O大会期间宣布MusicLM进入公开测试，用户可在网页、Android或iOS端的AI Test Kitchen中登记并试用^[10][8]。测试期间每人输入一条提示词会得到两个版本的乐曲，用户可选出更满意的一版以帮助改进模型，生成的音乐也可以下载^[10][11]。

应用

MusicLM可依据乐器、曲风、氛围、年代或具体场景的文字描述生成相应音乐，例如指定电子风格、古典配器或用于晚餐聚会的爵士乐^[10][8]。模型支持“故事模式”，即通过一串前后相继的提示词让音乐随时间演化，例如从爵士切换到流行、摇滚等各种风格^[1][7]。

除文本外，MusicLM还能以哼唱、口哨或乐器演奏的旋律作为条件，按照文字描述的风格把这段旋律续写或改编^[1]。研究者给出的示例显示，输入画作的名称与文字描述也能生成与之匹配的配乐，谷歌曾以萨尔瓦多·达利的《记忆的永恒》等作品进行演示^[2][7]。

局限

谷歌研究者承认，模型的能力受到训练数据与底层组件的制约：由于沿用了MuLan，模型在处理否定表述和文本的时间顺序上存在困难^[3]。论文还指出，歌词生成、文本条件控制的精确度与人声质量都是未来需要改进的方向^[3]。

版权与伦理风险是另一类限制。研究者在论文中说明，模型倾向于把数据集中已有的音乐片段直接纳入输出，一项实验中约1%的生成结果与训练数据中的音乐直接相似^[7][12]。论文同时提到训练数据中的偏见会反映在生成结果里，并涉及训练数据代表性不足的文化以及文化挪用问题^[3]。

公开测试阶段的MusicLM在功能上也有明确边界：无法生成模仿特定艺人演唱或人声的音乐^[9]。有媒体实测后指出，模型生成的曲目虽然开头通常完整，但中段容易出现结构断裂、风格突变，整体连贯性仍不及人类作曲者的作品^[11]。

参见

• AudioLM —— 谷歌此前的音频生成模型，MusicLM在其自回归建模框架基础上扩展出文本条件能力。

• SoundStream —— MusicLM使用的神经音频编解码器，负责把音频转换为离散表示。

• MuLan —— MusicLM采用的文本—音乐联合嵌入模型，用于对齐文字与音频。

• MusicCaps —— 谷歌随MusicLM一同公开的音乐—文本对数据集，用于训练与评估。

• AI Test Kitchen —— 谷歌提供MusicLM公开测试体验的应用平台。

• Jukebox —— 与MusicLM同属音乐生成方向、由OpenAI推出的早期系统。