定义
TrajectoryCrafter是一种从单目视频出发重定向相机轨迹的方法，即在不重新拍摄的前提下，改变原视频中相机的运动路径与观察视角，并生成与之匹配的新视频[5]。其目标场景是用户随手拍摄的普通视频：这类素材只有一个视角，缺乏同步的多机位素材，传统重建类方法在遮挡区域容易失败[6]。该方法由ARC Lab、腾讯PCG和香港中文大学的研究人员提出，论文题为《TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models》，收录于2025年国际计算机视觉大会（ICCV）并获口头报告[5][1]。
其核心技术是双流条件视频扩散模型，与既有方法相比，它在轨迹控制的精度和内容生成的连贯性上作出了专门的解耦设计[7]。
原理
方法的出发点是把视角变换与内容生成拆开：视角变换由几何过程确定性地完成，内容生成交由扩散模型完成[4]。首先，用单目深度估计模型从源视频中逐帧预测深度序列，再通过逆透视投影把视频的每一帧提升为一个动态点云[4]。随后按用户给定的目标相机轨迹，把该点云投影渲染成一组新视角图像。渲染结果具有正确的几何关系与视角变换，但由于遮挡和画面外区域，会留下明显的空洞。
渲染后的点云图像连同对应的掩膜视频被3D变分自编码器编码为视角词元，与文本词元、噪声一起送入扩散变换器（DiT）主干网络进行去噪[6]。点云渲染的纹理质量较差，因此源视频被编码为参考词元作为第二条条件流。由于源视频与目标视角存在空间错位，直接拼接效果不佳，作者在标准DiT层之间插入了参考条件扩散变换器（Ref-DiT）模块：先做3D自注意力，再以视角词元为查询、参考词元为键和值执行交叉注意力，从而在不破坏几何对齐的前提下把源视频的高频细节迁移到目标视角[6]。
训练数据方面，由于同步多视角视频稀缺，方法采用混合数据策略[4]。对单目视频，使用创新的双重重投影策略：先把目标视频提升为点云，用随机视角变换渲染出新视角与深度，再用逆变换反投影并重新渲染，从而得到与目标视频对齐、同时带有真实空洞的渲染—视频配对，共生成约6万对训练样本[8]。对静态多视角数据，则用MASt3R重建全局点云与逐帧相机位姿，再取两段有重叠的片段分别作为源与目标，渲染出源—目标—点云渲染的三元组，共约12万个[8]。
训练分两个阶段：第一阶段在全部数据上训练DiT模块与3D注意力层，冻结交叉注意力层且不注入参考词元，使模型专注于填补缺失区域并纠正几何畸变；第二阶段仅在静态多视角三元组上训练，只更新Ref-DiT中的交叉注意力与分块嵌入层，让参考词元承担细节传递的职责，其余模块冻结以避免对静态数据过拟合[6]。该模型在预训练的CogVideoX-Fun-5B架构上实现，训练时帧分辨率固定为384×672，视频长度为49帧；第一阶段迭代1万次，第二阶段迭代5000次[3]。
发展历程
2025年2月23日，项目主页上线。同年3月7日，论文预印本发布在arXiv上，编号为2503.05638；3月10日预印本更新[7]。2025年10月19日至25日，论文在夏威夷檀香山举行的国际计算机视觉大会上以口头报告形式发表，收录于会议论文集第100至111页[9][2]。
代码与预训练模型随后公开，官方仓库提供了命令行推理脚本和本地演示界面，并将权重托管于Hugging Face。官方建议在显存不低于28GB的GPU上部署。腾讯公司在模型许可文件中声明版权归属[10]。此后，双重重投影策略被其他研究引用并复用于视频修复模型的数据构建[11]。
应用
该方法的主要用途是为单目视频生成新的相机轨迹，官方展示的效果包括子弹时间（Bullet Time）、相机静止（Frozen Camera）和移动变焦（Dolly Zoom）等运镜效果[2]。这些效果原本需要多机位同步拍摄或专门的拍摄装置才能实现，在单目素材上通过生成方式重现是其价值所在[12]。
在评测方面，作者在多视角的iPhone数据集上使用PSNR、SSIM、LPIPS等指标与GCD、ViewCrafter、Shape-of-motion等方法对比，并提出一个包含100段真实单目视频与60段文生视频模型生成视频的野外基准，用VBench指标评估生成质量[4]。论文报告其结果在上述基准上优于对比方法[4]。此外，该方法也被用于单图像三维重建流程，作为合成新视角、补足遮挡区域的环节[13]。
局限
官方仓库说明，模型擅长处理物体定义清晰、运动明确的视频，但由于建立在预训练视频扩散模型之上，超出基础模型生成能力的复杂场景可能处理不好。作者也指出，该方法在相机轨迹变化幅度很大时仍面临限制，并且会把深度估计的误差传递到结果中，同时因迭代去噪而带来较高的推理开销[6]。
后续研究对点云渲染这一条件形式提出了批评：由于深度存在尺度歧义、相机内参依靠经验设定，点云中可能出现空洞或错位，这些被重渲染出的退化条件图像会导致输出出现不自然的拉伸与扭曲[14]。同一研究还指出，TrajectoryCrafter侧重于输入视频与生成视频之间的一致性，而不处理同一输入下多条相机轨迹所生成的多视角视频之间的相互一致[11]。另有工作在时间控制实验中报告，当帧序被反转打乱时，该方法的相机运动会出现错误，源视频末帧的相机位姿会错误地出现在生成视频的首帧[15]。此外，把它用于三维重建流程的研究提到，扩散模型输出固有的空间偏移、时间不一致与模糊，会影响后续相机位姿估计与重建质量[13]。
参见
参考资料
- chatpaper.com 上的网页 [引用日期2026-10-14]
- github.io 上的网页 [引用日期2026-10-14]
- Data curation [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- thecvf.com 上的网页 [引用日期2026-10-14]
- TrajectoryCrafter：通过扩散模型重定向单目视频的相机轨迹 [引用日期2026-10-14]
- huggingface.co 上的网页 [引用日期2026-10-14]
- hyper.ai 上的网页 [引用日期2026-10-14]
- ieee.org 上的网页 [引用日期2026-10-14]
- TrajectoryCrafter [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- authors [引用日期2026-10-14]
- Detail Density: Estimated using edge detection methods [引用日期2026-10-14]
- Evaluation Dataset [引用日期2026-10-14]
- Table 4. Camera accuracy and first-frame estimation [引用日期2026-10-14]