Boximator

定义

Boximator 是一种面向视频合成的细粒度运动控制方法，其核心是用方框形式的约束来定义画面中物体在时间维度上的运动^[1]。与传统上依靠文本提示描述动作不同，该方法允许使用者在条件帧中直接框选目标物体，再借助方框或线条规定该物体在后续帧中的位置、形状或运动轨迹^[1]。

该方法将约束分为两类：硬框（hard box）即物体的边界框，用于精确界定对象的边界；软框（soft box）则给出物体应当位于的大致区域，其范围可以紧贴物体轮廓，也可以放宽到整个画面边界^[1]。通过为每个物体分配唯一的对象标识，方法可在多帧之间保持对同一物体的持续控制^[1]。

原理

Boximator 建立在采用三维 U 型网络（3D U-Net）架构的视频扩散模型之上，这类模型通过反复预测噪声，把纯高斯噪声逐步还原成视频帧^[1]。其控制模块的做法是在每个空间注意力块原有的空间自注意力层与空间交叉注意力层之间，插入一个新的自注意力层；文本编码器与 U 型网络的原有参数在训练中保持冻结，只训练新加入的这一模块^[1]。

方框约束被编码为控制令牌序列，每个令牌对应一个方框，由归一化到 [0,1] 的左上角与右下角坐标、以 RGB 颜色空间表示的对象标识，以及区分硬框与软框的布尔标记三部分拼接而成，再经傅里叶嵌入与多层感知机处理^[1]。由于控制令牌只定义了框，并未说明框里应当画什么，模型需要额外学会把离散的坐标与标识同画面中的视觉元素对应起来^[3]。

为降低这一学习难度，训练采用了称为自跟踪（self-tracking）的技术：先让模型在每一帧中为受约束物体生成带指定颜色的边界框，把问题拆解为「生成正确颜色的框」和「让框与约束对齐」两个较简单的任务，使边界框成为连接控制信号与物体生成的中间表示；随后再训练模型停止输出可见的方框，但其内部的对应关系得以保留^[1]。训练分三个阶段进行：第一阶段全部使用硬框约束，第二阶段将其中约 80% 替换为随机向四周扩张得到的软框，第三阶段延续第二阶段的设置但不再使用自跟踪^[1]。

在数据方面，由于缺少带目标跟踪标注的公开视频数据集，研究者从 WebVid-10M 数据集中筛选动态明显的片段，通过比较首末帧差异得到 110 万段视频，并用视觉语言模型生成描述、抽取名词短语，再交由定位模型与跟踪器标注边界框，共得到约 240 万个标注对象^[1]。若某个边界框完全落在裁剪区域之外，它会被投影为沿画面边缘的线段，从而支持物体从画面外进入或移出画面的控制^[1]。在生成阶段，对于用户未指定方框的中间帧，方法会对用户给出的方框做线性插值并放松为软框，使物体大致沿预期轨迹运动，同时保留一定的变化空间^[1]。

发展历程

2024 年 2 月 2 日，相关论文以预印本形式公开，作者为 Jiawei Wang、Yuchen Zhang、Jiaxin Zou、Yan Zeng、Guoqiang Wei、Liping Yuan 与 Hang Li，署名机构为字节跳动研究（ByteDance Research）^[4]。论文提出了硬框与软框两类约束，以及用于简化训练的自跟踪技术^[1]。

2024 年 2 月 20 日前后，有消息称字节跳动在另一家公司发布视频生成模型之前已推出名为 Boximator 的视频模型，并称其可通过文本控制生成视频中人物或物体的动作^[5]。字节跳动相关人士随后回应，Boximator 是视频生成领域控制对象运动的技术方法研究项目，当时还无法作为完善的产品落地，在画面质量、保真率、视频时长等方面与国外领先的视频生成模型仍有较大差距^[5]。

2024 年 7 月，该论文发表于第 41 届国际机器学习会议（ICML 2024）^[2]。项目主页曾说明演示网站仍在开发中，预计在随后两三个月内上线，在此之前通过邮件提交初始帧图片与文本提示的方式提供体验渠道^[6]。

应用

Boximator 作为插件接入既有的视频扩散模型，研究者在 PixelDance 与开源的 ModelScope 两个基础模型上进行了训练与验证^[1]。它可控制前景物体与背景物体的运动，也能通过调整人体等较大物体的局部组件来改变其姿态，还可用于控制由多个对象构成的组合，例如「骑马的人」整体向画面一侧移动^[1]。

在可控制的对象数量方面，案例研究显示当用户给出 4 个方框时，模型能按文本提示在每个框内生成目标物体，而未加框约束的模型在同一场景下只生成了 2 个物体^[7]。此外，该方法能驱动占据画面大部分区域的运动，也能通过在画面边缘绘制线段，让新物体从画面外进入并停在指定位置^[7]。

定量评估在 MSR-VTT 与 ActivityNet 数据集上进行。加入方框约束后，视频质量的 FVD 指标进一步改善，PixelDance 由 237 降至 174，ModelScope 由 239 降至 216^[7]。衡量框与物体对齐程度的平均精度在 MSR-VTT 上提升为原来的 1.9 至 3.7 倍，在 ActivityNet 上提升为 4.4 至 8.9 倍^[7]。4 位评估者在 100 个样本上的盲测偏好显示，在运动控制方面约 76% 的样本被认为优于基础模型，仅有约 2.2% 被认为不如基础模型；视频质量方面则约有 18% 的相对提升^[7]。

局限

该方法本身依赖基础视频扩散模型，因此继承了这类模型的不足。研究指出，控制令牌只规定了方框的位置，并不会说明框内应当绘制何种内容，物体最终由文本提示决定^[3]。同时，当画面中存在多个相互重叠的方框，或者需要在多帧之间把离散的坐标与标识同具体视觉元素对应起来时，学习难度会明显加大；在采用常规损失优化的条件下，模型训练到 11 万步后仍未与大部分框约束对齐，这也是引入自跟踪技术的原因^[1]。

消融实验显示，去掉自跟踪或去掉软框都会使框对齐指标大幅下降。在 MSR-VTT 上，完整方法的平均精度为 0.349，去掉自跟踪降至 0.118，去掉软框降至 0.235；在 ActivityNet 上，相应数值由 0.445 分别降至 0.083 和 0.248^[7]。研究同时说明，平均精度并不等同于运动控制的成功率，因为用于检测生成结果中边界框的检测与跟踪系统本身并不完美，可能漏检、误检或无法在所有帧上稳定跟踪同一物体，因此更有参考价值的是不同方法之间平均精度的差异，而非绝对数值^[1]。

在质量与文本一致性之间也存在取舍。研究观察到，在引入首帧或方框等额外条件后，衡量视频与文本匹配程度的 CLIPSIM 分数出现小幅下降，原因在于基础模型仅针对文本对齐进行了优化，而该方法需要同时处理多种对齐目标^[1]。就产品化程度而言，字节跳动方面表示该方法当时还无法作为完善的产品落地，与国外领先的视频生成模型在画面质量、保真率和视频时长等方面存在明显差距^[5]。

参见

• 视频扩散模型 —— Boximator 以插件形式接入的基础模型类型。

• 边界框 —— 该方法中硬框约束的几何形式。

• 扩散模型 —— Boximator 所依托的生成式建模框架。

• 自注意力机制 —— 控制模块插入新自注意力层以接收方框信息的机制。

• 文生视频 —— Boximator 所属的任务领域。