Objaverse

定义

Objaverse是面向三维视觉研究的大规模对象级数据集，其1.0版本包含80万个以上（且持续增加）的3D模型，每个模型配有描述性文字说明、标签，部分还带有动画^[3]。数据主要来自开放许可的三维内容平台，例如Sketchfab上以开放许可发布的作品，由研究团队抓取并整理而成^[4]。

作为一个对象集合，它的每个条目对应一个独立的物体模型，而不是完整的室内场景或大规模三维环境，因此与房间级数据集的用途有所区别^[5]。

原理

数据集本身不包含算法，其价值在于为三维视觉模型提供可读取的资产与元数据。团队通过公开接口从内容平台批量抓取模型文件，再进行去重、格式统一与标注整理，使分散的模型归入同一套元数据结构^[4]。

标注信息包括文字说明、标签与动画属性，这些文本与三维几何相互对应，使得以语言为条件的模型可以在图像、文本与三维形状之间建立联系^[3]。研究者通常将模型渲染成多视角图像，再以渲染结果训练神经网络；例如有人从数据集中抽取约20万个模型，渲染为若干正交视角的彩色与深度图，用于预训练三维操作策略^[5]。

发展历程

Objaverse 1.0于2022年12月15日首次提交预印本论文，作者包括Matt Deitke等10人，论文随后发表于2023年6月的IEEE/CVF计算机视觉与模式识别会议(CVPR)，收录于会议论文集第13142至13153页^[1]。初版即包含80万个以上3D模型^[6]。

2023年，团队推出规模更大的Objaverse-XL，收录超过1000万个三维对象，来源包括人工设计模型、地标与日常物品的摄影测量扫描，以及历史与古董器物的专业扫描；基于该数据集训练的Zero123-XL使用了超过1亿张多视角渲染图像，展现出较强的零样本泛化能力^[7]。

此后围绕数据质量出现了二次加工版本。2025年的Objaverse++由专家人工标注1万个模型的美学质量分数、纹理颜色分类、多物体构成标志、透明属性等，并训练神经网络为其余模型自动打标，最终发布约79万个经过筛选的模型^[8]。欧洲的3DBigDataSpace项目则从Objaverse 1.0中抽取约5.5万个文化遗产类模型，转换为统一格式并存入公共数据仓库^[4]。

应用

Objaverse最初的论文列出了四类用途：训练三维生成模型、改善LVIS基准上长尾类别的分割效果、为具身智能训练开放词汇的物体导航模型，以及构建用于视觉模型鲁棒性分析的新基准^[9]。

在三维内容生成方向，它常被当作训练数据与评测基准使用；有研究对其数据进行清洗，构建了包含约20万样本的G-Objaverse，用于图像条件的三维纹理形状生成实验^[10]。

在机器人操作领域，CVPR 2025发表的3D-MVP方法使用其中约20万个模型做多视角掩码自编码预训练，使RVT策略在RLBench的18项任务上平均成功率从62.9%提升至67.5%，并在COLOSSEUM基准的纹理、尺寸与光照变化下表现更稳健^[5]。

局限

数据质量参差是被反复指出的问题。Objaverse++的研究指出，该集合虽然规模最大，但低质量模型占比高，因而限制了直接使用的效果；其实验显示，仅用质量筛选后的子集预训练，在图像到三维生成任务上反而优于使用更大规模全集的结果^[11]。

模型来源与许可状况也不统一，早期整理工作需要在抓取后进行字段归一化处理，才能形成统一结构^[4]。此外，数据集以孤立物体为单位，缺少真实场景中的空间与交互关系，用其训练的机器人策略仍需少量带标注的示教数据做微调，且相关验证多在仿真环境中完成，仿真到现实的差距尚未充分衡量^[5]。

基于固定正交视角渲染的预训练方式，也使模型难以处理遮挡与任意视角的相机配置^[5]。

参见

• ShapeNet —— 更早的三维模型库，常与Objaverse在规模与类别多样性上进行比较。

• Objaverse-XL —— 该数据集的扩展版本，三维对象数量超过1000万。

• 神经辐射场 —— 三维重建与视角合成方法，常使用此类数据集构造训练与评测数据。

• 具身智能 —— 以开放词汇物体导航等任务为代表，是Objaverse论文列举的应用方向之一。

• 计算机视觉与模式识别会议 —— Objaverse 1.0论文的发表会议。

• 艾伦人工智能研究所 —— 该数据集的主要发布机构。