定义
InternVL 是由上海人工智能实验室主导研发的开源多模态大模型系列，中文称为书生·万象，以 OpenGVLab 的名义对外发布代码与模型权重。[1][2] 它属于视觉语言模型，能够同时接收图像、视频与文本输入并输出文字，核心思路是让视觉部分的参数规模与大语言模型相匹配。 整个系列从 1.0 版本起步，先后推出 1.5、2.0、2.5、3.0 与 3.5 等代际，构成了一个持续迭代的模型家族。[3] 该系列的初衷是弥补开源多模态模型与 GPT-4o 等闭源模型之间的性能差距。[4]
原理
InternVL 系列沿用视觉编码器、投影层、大语言模型的三段式结构，通常记作 ViT-MLP-LLM 范式。[4] 图像先被切分成若干 448×448 像素的图块，经视觉编码器 InternViT 提取特征，再由一个随机初始化的两层多层感知机把视觉标记映射到大语言模型的词嵌入空间。[4] 为控制计算量，模型采用像素重排操作，把每个图块的一千余个视觉标记压缩至 256 个。[4]
视觉编码器有两个规模版本，较大的 InternViT-6B 约 60 亿参数，较小的 InternViT-300M 由前者蒸馏得到。[5] 图像按预定义宽高比拆分为多个图块并附加一张缩略图以保留全局信息，这一动态高分辨率策略可处理单图、多图与视频三类输入。[5] InternVL3 引入可变视觉位置编码，对视觉标记使用小于 1 的位置增量，在不扩展位置编码长度的前提下处理更长的多模态序列。[6] InternVL3.5 提出视觉分辨率路由器，按图块的语义丰富程度自适应选择压缩倍率，可将视觉标记数量减少约一半而性能基本保持。[7]
发展历程
2023 年 12 月，InternVL 的首篇论文公开，提出把视觉编码器扩展至 60 亿参数并与语言模型渐进对齐，该工作后被 CVPR 2024 接收为口头报告。[3] 2024 年 7 月 4 日，上海人工智能实验室在世界人工智能大会上发布并开源 InternVL 2.0，支持图像、视频、文字、三维点云等模态，采用渐进式对齐训练策略。[8] 2024 年 12 月 5 日，InternVL 2.5 发布，参数覆盖 10 亿至 780 亿，其 780 亿版本成为首个在 MMMU 基准上突破 70% 的开源多模态模型。[3][9]
2025 年 4 月 16 日，InternVL3 升级发布，改用原生多模态预训练方法，把语言与多模态学习整合到同一预训练阶段，其 780 亿版本在 MMMU 上取得 72.2 分。[1][10] 2025 年 8 月 26 日，InternVL3.5 发布，共开源 9 种尺寸，参数涵盖 10 亿至 2410 亿，旗舰版本 InternVL3.5-241B-A28B 在 MMMU 上获 77.7 分。[7][1] 至此 InternVL 全系列的网络下载量已突破 2300 万次。[1]
应用
InternVL 可用于图像分类、语义分割、图文检索与图像描述等通用视觉语言任务，也可作为多模态对话系统的底座。 在文档理解与图表分析方面，该系列被用于识别图像中的文字与结构化信息。[10] InternVL3 起扩展了图形用户界面智能体能力，可遵循指令操作电脑或手机上的软件。[11] InternVL3.5 进一步具备具身空间感知能力，可理解物理空间关系并规划导航路径，配合抓取算法支持机器人完成物体抓取。[1] 该系列还可用于网页图形生成与工程图纸解析，并能协助分子结构解析、材料性能预测等科研推导。[1]
局限
InternVL 的核心版本训练成本较高，把视觉编码器扩展至 60 亿参数需要大量算力与数据，普通研究团队难以从零复现。 大视觉编码器与大语言模型组合带来更高的推理开销，部署成本高于视觉部分较小的方案。 模型表现对训练数据质量较为敏感，数据中的重复模式会导致思维链推理时陷入循环，需要精细的清洗流程加以控制。[4] 通用骨干在医学影像、遥感等专业性较强的任务上未必最优，通常仍需针对领域数据微调。[12] 开源模型与闭源商业模型之间仍存在性能差距，这一差距随着闭源模型的更新而动态变化。[4]
参见
参考资料
- 上海人工智能实验室,书生·万象3.5发布，通用能力、推理能力与部署效率全面升级 [引用日期2026-10-14]
- thecvf.com 上的网页 [引用日期2026-10-14]
- OpenGVLab-InternVL [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- InternVL系列论文笔记 [引用日期2026-10-14]
- InternVL | AI Wiki [引用日期2026-10-14]
- github.io 上的网页 [引用日期2026-10-14]
- 高效训练，感知“万象”，上海AI实验室升级发布书生·万象多模态大模型 | WAIC 2024 [引用日期2026-10-14]
- 上海人工智能实验室,全量级开源多模态大模型书生·万象InternVL2.5全面升级 [引用日期2026-10-14]
- 社区供稿 | 书生·万象 3.0 升级发布，创新预训练方法 [引用日期2026-10-14]
- 上海人工智能实验室开源多模态大模型“书生·万象3.0” [引用日期2026-10-14]
- internvl [引用日期2026-10-14]