SpatialVLM是一个具备三维空间推理能力的视觉语言模型系统，由谷歌研究团队在2024年提出。针对当时多数视觉语言模型只能理解二维图像平面、难以判断物体距离与尺寸关系的问题，该工作认为瓶颈不在模型架构，而在于训练数据缺少三维空间信息。研究团队构建了自动化的空间视觉问答数据生成流程，从1000万张真实图像合成约20亿条问答样本，并据此训练模型。该模型在定性与定量空间问答上均优于同期基线，并可支持思维链空间推理与机器人任务。
定义
SpatialVLM是谷歌研究团队提出的一个视觉语言模型系统，目标是在标准的「图像输入、文本输出」架构上赋予模型三维空间推理能力。所谓空间推理，指判断物体在三维空间中的位置、相互之间的方位关系，以及对距离、尺寸、高度等物理量作出定量估计。[1]
在该研究中，SpatialVLM既指一套围绕空间数据合成与协同训练构建的方法体系，也指最终训练得到的那个多模态模型。它是视觉语言模型在空间理解方向上的一个代表性工作，论文发表于2024年的国际计算机视觉与模式识别会议。[2]
原理
该工作的核心假设是，视觉语言模型空间推理能力不足并非源于网络架构的缺陷，而是训练数据中普遍缺乏三维空间知识。常见的图文对数据来自互联网，包含的空间信息有限，而带三维标注的数据获取与人工标注成本很高。因此研究团队选择自动生成大规模空间问答数据，再以协同训练的方式注入模型。[3]
数据生成流程分为若干步骤。首先用基于CLIP的开放词汇分类模型对图像做语义过滤，剔除只有单个物体或缺少场景背景的图片；随后利用区域提议、区域描述与语义分割等成熟视觉模型，提取以物体为中心的实体信息与描述文本。[4]
关键一步是把二维图像「提升」到三维。研究团队对单张图像做度量深度估计，将像素映射为以米为单位的度量尺度三维点云，再借助水平面分割把相机坐标系转换到大地坐标系，从而可以在统一坐标系下计算物体之间的欧氏距离和尺寸。为避免同类物体标签歧义，流程还会对物体描述进行聚类与增删处理。[4]
问答对由模板生成，覆盖38类空间问题，每类约包含20个问题模板和10个答案模板。问题分为定性两类：定性问题要求判断方位关系，例如两个物体中哪一个更靠左；定量问题则要求给出带数值和单位的答案，例如两个物体相距多少米。研究团队用这套流程从1000万张真实图像中合成约20亿条问答样本，其中定性与定量各占一半，并称这是首个在度量空间上达到互联网规模的三维空间推理数据集。
训练阶段沿用PaLM-E的架构与训练流程，将语言骨干替换为参数规模较小的PaLM 2-S，在原有训练数据混合中加入空间问答数据，空间推理样本约占训练词元的5%。模型在推理时只接收RGB图像，不需要深度传感器或额外的三维工具。
发展历程
2024年1月，论文《SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities》发布在arXiv预印本平台上，作者包括Boyuan Chen、Zhuo Xu、Sean Kirmani、Brian Ichter、Dorsa Sadigh、Leonidas Guibas和Fei Xia等人。[2]
2024年2月，该项目的中文报道出现，介绍了其数据合成流程与实验结果。同年6月，论文正式收录于在美国西雅图举行的IEEE/CVF计算机视觉与模式识别会议论文集，页码为14455至14465。[5]
由于官方未公开代码与权重，后续出现了若干社区复现，例如以LLaVA为底座、结合数据合成工具链训练的空间推理模型。相关方向上也陆续出现SpatialRGPT等后续研究，继续探索视觉语言模型的空间感知能力。[6]
应用
空间问答评测方面，研究团队在WebLI图像子集上人工标注了331条定性问答和215条定量问答作为基准。在定性二值谓词判断上，SpatialVLM取得75.2%的准确率，高于GPT-4V的68.0%和LLaVA-1.5的71.3%；在定量问答上，该模型有99.0%的回答包含有效数值，其中37.2%落在人工标注真值的0.5倍到2倍区间内。[7]
机器人方向是该工作重点展示的下游应用。由于能够从图像中定量估计距离，模型可以作为密集奖励标注器，用自然语言指定任务后为机器人轨迹的每一帧打分；在机械臂靠近易拉罐的序列中，模型输出的距离估计会随接近过程单调下降。此外，当外部的GPT-4作为调度方、SpatialVLM作为空间推理子模块时，系统可以回答诸如桌上三个物体是否大致构成等腰三角形这类多步问题。[3]
局限
定量估计的精度受制于数据生成链路。研究团队发现，SpatialVLM在物体距相机1至10米的中等距离场景中表现较好，这一范围与所用单目深度估计模型能够可靠输出度量精度深度值的区间吻合，说明该方法继承了合成流程中各专家视觉模型的偏差。更精细的定量估计误差较大，预测值落在人工标注0.9倍至1.1倍区间内的准确率仅为8.4%，模型还表现出向均值回归的倾向。[4]
训练数据本身带有噪声，定量答案依赖单目深度估计的绝对尺度，检测遗漏或分割错误也会污染还原出的点云，进而影响几何关系计算。研究团队也指出，在广泛领域内评测视觉语言模型的定量空间推理能力仍然是一个尚未解决的难题。[3]
此外，直接空间问答建立在有限的模板集合之上，问题形式受模板限制；模型在线运行时的输入仍只有RGB图像，训练阶段所用到的深度与三维结构信息并不在推理时直接可用。官方代码与权重未公开，也在一定程度上限制了复现与比较。[6]
参见
参考资料
- Spatial Visual Language Model [引用日期2026-10-14]
- thecvf.com 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- thecvf.com 上的 PDF 文件 [引用日期2026-10-14]
- ieee.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- 2401-SpatialVLM [引用日期2026-10-14]