AnimateDiff是2023年提出的一种文本到动画生成框架，由郭宇威、杨策元、饶安一等研究者开发。它通过在已有的文本到图像扩散模型中插入一个即插即用的运动模块，把原本只能生成静态图片的模型扩展为动画生成器，无需针对每个模型重新训练。该框架还提出轻量的MotionLoRA微调方法，让预训练运动模块以少量参考视频适配新的运动模式，如镜头平移、缩放与旋转。
定义
AnimateDiff是一个把个性化文本到图像扩散模型转化为动画生成器的实用框架，由郭宇威、杨策元、饶安一等研究者提出，论文发表于2024年的国际学习表征会议（ICLR）。它的目标是给已经训练好的高质量文本到图像模型加入运动动态能力，而不必为每个模型单独调优。
该框架的核心是一个即插即用的运动模块（Motion Module）。运动模块只需训练一次，就能嵌入到任何源自同一基础文本到图像模型的个性化模型当中，从而构成个性化的动画生成器。研究者在社区收集的多类个性化模型上进行了评估，结果显示生成结果在保持原有画面风格的同时具有时间上的连贯性。[1]
原理
AnimateDiff建立在Stable Diffusion这类潜在空间扩散模型之上，并沿用低秩适配（LoRA）等个性化技术。为了处理视频这种三维数据，框架将原本处理二维图像的扩散模型进行网络膨胀，把输入改为包含帧时间维度的五维张量。图像层处理特征时把时间轴并入批次轴，使每一帧被独立处理，从而复用原有的高质量内容先验。[2]
新插入的运动模块采用时间轴上的Transformer结构，包含若干自注意力模块，并使用正弦位置编码标记每一帧在动画中的位置。模块对帧间特征做注意力运算，使当前帧的生成能够参考其他帧的信息，从而捕捉视觉内容随时间的变化，也就是动画中的运动。为避免新模块在训练初期干扰原模型，输出投影层采用零初始化并加入残差连接，使运动模块在开始时等价于恒等映射。[2]
在模块设计上，研究者比较了时间Transformer与时序卷积两种方案，发现参数量相近的卷积模块会把所有帧对齐成相同画面，无法引入运动。位置编码对模块感知帧序是必需的，缺少它模块无法判断帧的先后顺序。[2]
发展历程
2023年7月，AnimateDiff v1发布，运动模块在WebVid-10M视频数据集上训练，实现在Stable Diffusion V1.5上的动画生成，并公开了代码与预训练权重。[3]
2023年，框架发布v2版本，推出在更大分辨率与批次规模上训练的运动模块，画面质量有明显提升；同时发布MotionLoRA及其模型库，加入镜头运动控制能力。单个MotionLoRA模型约74 MB，可分别控制向上、向下、向左、向右平移，以及放大、缩小、顺时针与逆时针旋转等8种镜头运动。
2023年12月，v3版本与SparseCtrl一同发布。该版本通过域适配器LoRA对图像模型进行微调，在推理时更具灵活性，并实现了两个稀疏控制编码器，可接受任意数量的条件图来控制生成过程。[4]
该框架的论文于2024年5月在维也纳举行的第12届国际学习表征会议上发表。[5]
应用
AnimateDiff可用于由文字提示直接生成动画短片。它与帧插值模型配合时效果良好，例如把2秒、每秒16帧的输出经插帧提升到每秒32或64帧，或转换为4秒的慢动作视频。
框架可与ControlNet结合用于视频到视频生成，通过提供深度图、边缘图等控制图像约束生成结果。例如输入深度图时，模型会生成保留该深度图空间信息的视频；这种方式让生成过程更灵活、更可控。[6]
在工程实现上，Hugging Face的diffusers库提供了AnimateDiff的推理管线，包含文本到视频、视频到视频与稀疏控制等不同管线，便于在代码中直接调用。[6]
局限
公开视频训练数据集受采集难度限制，画质明显低于图像数据集。WebVid等数据集的内容多为真实场景记录，单帧可能带有运动模糊、压缩伪影和水印，与训练基础文本到图像模型所用的高质量图像数据之间存在不可忽视的质量域差距，直接训练会限制动画生成的质量。[2]
为避免运动模块学到这种画质差异，研究者单独设置域适配器承担域信息，并在推理时将其丢弃或调整贡献强度。实验显示，随着适配器标量从1降到0，整体视觉质量提高，同时从视频数据集学到的视觉内容分布如WebVid水印也随之减少。[2]
MotionLoRA的适配效果依赖参考视频的数量，在参考视频过少时会明显退化。实验表明，参考视频降至5个左右时，模型难以学到共通的运动模式，转而捕捉参考视频中的纹理信息，生成质量显著下降。[2]
工程使用上也有条件限制。AnimateDiff在微调过的Stable Diffusion模型上通常表现更好；若使用会裁剪样本的调度器，需关闭该设置并采用线性beta调度，否则会影响生成样本的质量。[6]
参见
-
Stable Diffusion —— AnimateDiff所依托的文本到图像扩散模型。
-
ControlNet —— 可与AnimateDiff结合，为动画生成提供空间结构控制。
-
LoRA —— 低秩适配技术，被用于实现域适配器与MotionLoRA。
-
扩散模型 —— AnimateDiff运动建模的底层生成范式。
-
文本到视频生成 —— AnimateDiff所属的任务方向。
参考资料
- napstic.cn 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- AnimateDiff [引用日期2026-10-14]
- hkust.edu.hk 上的网页 [引用日期2026-10-14]
- animatediff [引用日期2026-10-14]