定义
LensVLM 是一套面向视觉语言模型（VLM）的推理框架与后训练方案，目标是把文本作为渲染后的图像来处理，从而绕开长文本分词带来的超长上下文问题[1]。它并不要求模型在压缩图像上把字全部读清，而是让模型把压缩页当作索引来使用，先判断证据可能位于哪一页，再把该页还原成可以可靠阅读的形式[4]。
由该方法训练得到的模型称为 LensVLM-9B，是一个参数量为 90 亿的视觉语言模型，任务类型为图像文本到文本[5]。它基于 Qwen3.5-9B-Base 构建，主要面向长文档与多页文档的问答场景[6]。
原理
压缩阶段使用一个确定性渲染器，把长度为 $N$ 个 token 的文本按字体、版式、行距等配置转换成若干张页面图像，视觉编码器再把每张图像编码为固定数量的视觉 token[7]。论文把文本 token 数与视觉 token 数之比称为输入压缩率：$C_{\mathrm{in}}=\frac{N}{\sum_{k=1}^{K} n_k}$，压缩率越高，图像尺寸与每页视觉 token 数越小[7]。
在推理阶段，模型同时看到全部压缩页图像和用户问题，逐轮生成思考步骤与工具调用，每一轮只展开一页，多页需求则跨轮依次展开，并以先前展开的内容作为后续选择的依据[8]。这个工具在论文中称为 Expand，在公开代码里以 read_page 的形式提供给模型[9]。它本身不引入新信息，只是把选中的区域以更易读的形式重新呈现出来[8]。
为公平比较不同方法，论文还定义了有效压缩率，即原文长度与模型实际处理的全部 token 数之比，对 LensVLM 而言，分母既包含初始压缩视觉 token，也包含各次展开追加的 token[8]。整个流程可概括为：文本渲染压缩为页面图像，模型扫描缩略页选出候选页，再通过工具调用取回未压缩内容作答[10]。
发展历程
论文《LensVLM: Selective Context Expansion for Compressed Visual Representation of Text》由苹果公司的 Roy Xie、Dan Friedman、Donghan Yu、Bowen Pan、Christopher Fifty、Jang-Hyun Kim、Xianzhi Du、Zhe Gan、Vivek Rathod 与杜克大学的 Bhuwan Dhingra 等人合作完成[1]。论文于 2026 年 5 月首次提交至 arXiv，苹果机器学习研究页面标注的发布时间为 2026 年 7 月[2][1]。
2026 年 9 月 21 日，LensVLM-9B 的模型权重在 Hugging Face 上公开，推理与评测代码同步发布在 GitHub 的 ml-lensvlm 仓库中[2]。模型文件采用苹果机器学习研究模型许可，随附源代码则采用苹果示例代码许可，仓库中还有配套的演示脚本与 LensVLM-9B 演示页面[5][10]。
训练在 Qwen3.5-9B-Base 之上分阶段进行，视觉编码器与投影层保持冻结：先通过追踪分页过程中答案片段的位置来标注证据页，并只保留基础模型无法仅凭缩略页作答的难题样本；随后在合成多轮工具调用轨迹上做监督微调；最后使用 DAPO 进行强化学习，奖励由 0.7 倍答案正确性与 0.3 倍用到工具条件下的正确性组成[2]。公开代码中提供了 5 倍、10 倍、15 倍三档压缩预设[9]。
应用
主要应用方向是长文档问答，尤其是答案只在少数页面出现、而文档整体篇幅很大的情况[9]。演示样例中，模型扫描 15 张压缩页图像后判断第 10 页包含线索，调用 read_page 读取该页文本，两轮之内完成了一条需要多跳推理的问答[9]。
方法也能迁移到原生文档与代码理解任务，且压缩率越高，相对基线的准确率优势越明显[1]。对渲染文本，返回原始文本即可；对 PDF 这类原生文档，则可返回 OCR 结果或高分辨率图像裁切，论文发现在这一情形下高分辨率放大的效果更好，因为它保留了 OCR 会丢弃的版面线索[2]。
评测在七个文本问答基准上进行，基础模型 Qwen3.5-9B 在全文输入下平均得分 72.4%，而把同样文本以 5 倍压缩渲染成图像后仅得 31.3%；LensVLM 在 5 倍输入压缩下取得 68.9% 的平均准确率[2]。对比对象包括 Glyph、LLMLingua-2 token 剪枝，以及使用 BM25、BGE-M3、Jina-v4、Qwen3-Embedding、ColPali 等的检索流程[2]。
在效率方面，15 倍压缩、20 页文档的设置下，LensVLM 的峰值 KV 缓存为 2288 个 token，而全文输入为 10686 个 token，降幅约 78.6%，文档扩展到 100 页时降幅可达 84.2%[2]。社区也发布了基于 MLX、GGUF 等格式的量化版本，以便在 Apple Silicon 设备上以更低显存运行[11][5]。
局限
阅读压缩图像的方式本身存在分辨率瓶颈：压缩程度提高后字符会小于视觉编码器的有效分辨率，变得无法区分，这也正是单一压缩视图下准确率迅速下降的原因[1]。LensVLM 靠选择性展开绕过这一瓶颈，但因此引入了多轮推理的额外开销，论文报告一次典型的单次展开查询耗时约 17 秒，而单轮全文推理约 8 秒，约为后者的 2 倍[2]。
页面选择本身也是误差来源，压缩率越高，正确展开相关页面的难度越大，选错页会直接影响最终答案[8]。工具返回内容的形式需要按任务选择，渲染文本适合返回文本，版面信息重要的原生文档则适合返回高分辨率图像，说明该方法并非对所有输入都有统一的展开策略[1]。
此外，公开代码的推理路径依赖 vLLM，而该运行时不提供 macOS 与 Apple Silicon 的原生构建，因此在部分平台无法直接执行模型推理[12]。与检索方法相比，检索可以预先离线段建索引并复用，而 LensVLM 每次提问都需重新处理文档，这一差异在面向大规模知识库时较为关键[13]。
参见
参考资料
- lensvlm-context-expansion [引用日期2026-10-14]
- Apple’s LensVLM-9B Reads Compressed Pages, Then Zooms In [引用日期2026-10-14]
- README.md · apple/LensVLM-9B at main [引用日期2026-10-14]
- new [引用日期2026-10-14]
- README.md · prithivMLmods/LensVLM-9B-GGUF at main [引用日期2026-10-14]
- README [引用日期2026-10-14]
- obspm.fr 上的网页 [引用日期2026-10-14]
- obspm.fr 上的网页 [引用日期2026-10-14]
- ml-lensvlm [引用日期2026-10-14]
- entry-51882 [引用日期2026-10-14]
- prithivMLmods/LensVLM-9B-MLX · Hugging Face [引用日期2026-10-14]
- Reading Documents 10x Compressed with 9B: Apple’s LensVLM-9B [引用日期2026-10-14]
- innovaformazione.net 上的网页 [引用日期2026-10-14]