MimicMotion 是腾讯与上海交通大学研究团队提出的一种可控人体动作视频生成框架，能够依据一张参考图像和一段姿态序列，生成人物动作与输入姿态一致的高质量视频。该框架针对视频生成中长期存在的可控性差、视频长度受限、细节质量不足等问题，提出置信度感知姿态引导、区域损失放大和渐进式潜在融合三项设计，可生成任意长度的视频。相关论文于 2025 年被 ICML 收录。
定义
MimicMotion 是一种基于姿态引导的可控人体视频生成框架，其论文标题为《MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance》[1]。它的输入由两部分构成：一张作为人物外观参考的图像，以及一段需要模仿的姿态序列；输出则是人物按照给定姿态做出动作的视频[2]。
该框架的目标是在保持参考图像中人物外观特征的同时，合成与输入姿态序列相符的真实动作，属于图像到视频生成与人体动作迁移的交叉方向[2]。作者团队来自腾讯与上海交通大学，论文作者包括 Yuang Zhang、Jiaxi Gu、Li-Wen Wang、Han Wang、Junqi Cheng、Yuefeng Zhu 和 Fangyuan Zou[3]。
原理
MimicMotion 以预训练的 Stable Video Diffusion 图像到视频扩散模型作为基础，复用其生成能力以降低训练所需的数据量与计算成本[2]。整个去噪过程在低维潜在空间中完成，其结构遵循潜在扩散模型的思路，编码器将像素压缩为潜变量，解码器再将其还原为画面[2]。其中来自 SVD 的变分自编码器编码器与解码器参数被冻结，解码器在空间层之外还加入了时间层，以改善底层细节的时间平滑性[2]。
参考图像经两条路径进入模型：一条通过 CLIP 提取特征，注入 U-Net 各块的交叉注意力；另一条由冻结的变分自编码器编码得到潜表示，沿时间维度复制后与视频帧特征在通道维度拼接[4]。姿态序列则由多层卷积构成的 PoseNet 提取特征，逐元素加到 U-Net 第一层卷积的输出上，而非加到每一层，以避免干扰预训练模型的时空交互层[4]。
置信度感知姿态引导是核心设计之一。姿态估计器在为每帧提取关键点时会同时输出置信度分数，此前的方法通常只用固定阈值做简单过滤，而该框架把每个关键点及肢体连线的颜色值乘以其置信度，使高置信度关键点在引导图中更亮、低置信度关键点接近黑色，模型由此可以自适应地区分可靠与不可靠的姿态[4]。这种做法在训练阶段可减弱噪声样本的负面影响，在推理阶段也能修正错误的姿态引导[5]。
针对手部容易失真的问题，框架采用基于姿态置信度的区域损失放大：当手部关键点的置信度全部超过阈值时，围绕这些关键点构造边界框，并把该区域的训练损失放大为原来的 10 倍，从而让模型更关注高质量的手部样本[4]。为生成长视频，框架提出渐进式潜在融合策略：把长姿态序列切成定长片段，相邻片段之间保留若干帧重叠，在每个去噪步骤中对重叠区域按时间位置加权融合，靠近片段中心的帧获得更高权重，靠近边界的帧权重更低[4]。该策略借鉴了 MultiDiffusion 的思路，用于缓解片段边界处的闪烁与突变[2]。
发展历程
2024 年，研究团队发布技术报告《MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance》，预印本编号为 arXiv:2406.19680。2024 年 7 月 1 日，项目页面、代码、技术报告与基础模型检查点对外发布[3]。
2024 年 7 月 8 日，团队发布 1.1 版本模型检查点，支持的最大视频帧数由 16 帧扩展到 72 帧，视频质量随之提升[3]。2025 年 5 月 3 日，该论文被 ICML 2025 接收，并出现在会议的海报展示环节[3]。
应用
按论文的设想，这类技术可用于影视制作和动画创作等领域，让生成的人体动作更自然、画面更清晰[1]。其基本使用方式是给定一张人物参考图和一段动作姿态序列，输出该人物模仿这段动作的视频，因此也属于人体动作迁移的一类实现路径[2]。
在部署层面，项目提供了推理脚本与示例配置，官方说明中建议使用 Python 3 以上、PyTorch 2.x 环境，并在 Nvidia V100 显卡上进行了验证[3]。初版模型检查点在 576×1024 分辨率下最多支持生成 72 帧，显存不足时可适当减少帧数[3]。有技术文章记录，35 秒演示视频在 72 帧模型下需要 16GB 显存，在 4090 显卡上约需 20 分钟完成[6]。
局限
姿态估计本身在视频中具有不确定性，自遮挡、运动模糊等因素都会造成关键点估计不准确，这既使姿态对齐与时间平滑之间产生冲突，也可能导致模型在噪声样本上过拟合、难以扩大训练规模[5]。手部区域由于细节精细、自由度大，一直是视频生成中最容易失真的部位，这一点在包含大幅动作的视频里尤为明显[5]。
长视频生成方面，受计算资源和模型能力限制，过往方法一次只能生成十几帧，无法原生支持长视频[4]。分段生成虽然扩展了长度，但论文也指出片段边界处仍可能出现突变，渐进式潜在融合正是为改善这一问题而提出[2]。此外，为了获得较好的时间平滑性，画面细节有时会被牺牲，出现模糊帧的情况[5]。
参见
参考资料
- icml.cc 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- MimicMotion [ICML 2025] [引用日期2026-10-14]
- title: > [引用日期2026-10-14]
- huggingface.co 上的网页 [引用日期2026-10-14]
- 项目分享|MimicMotion：基于置信度姿态引导的高质量人体运动视频生成 [引用日期2026-10-14]