定义
SurrogateKV 是一种针对大语言模型（LLM）长上下文推理的 KV 缓存压缩方法，其核心做法是把重要度偏低的 KV 缓存块整体保留为可读的压缩表示，而非直接丢弃[1]。研究团队把它描述为对 KV 缓存缩减问题的一次重新定义：不再是单纯的保留或删除二选一，而是在原始 KV 与替代表示之间分配表达资源[4]。
在大语言模型的解码过程中，被删除的缓存块会彻底退出注意力计算范围，导致注意力权重过度集中到剩余区间，进而扭曲上下文表达[5]。SurrogateKV 让被压缩的区间仍然留在注意力可访问的范围内，因此在相同缓存预算下能比只做删除的方法保留更多上下文线索[6]。
原理
该方法先按位置把历史上下文划分成若干连续区块，再以近期后缀令牌对历史令牌分配的注意力质量作为重要度信号，据此对区块排序[4]。在给定预算下，各区块被分成三类：重要度高的区块以原始 KV 形式保留；一部分重要度较低的连续区块被压缩成 1 个可独立引用的替代 KV 对；其余区块则被丢弃[7]。
团队在分析中发现，被划为删除对象的连续上下文区间，其键值与值的相似程度高于随机选取的令牌集合，而每次移除 KV 都会改变分给重要区间的注意力比重[8]。替代 KV 的构造方式包括取该区块 KV 的均值，或使用不含信息的零值替代；构造完成的替代令牌与普通 KV 对结构相同，因此无需额外训练，也无需修改注意力算子即可接入标准注意力计算[4]。其实现建立在 KVCache-Factory 之上，包含受害区块选择、替代构造与压缩缓存装配三个环节[4]。
发展历程
2026 年之前，KV 缓存压缩主要沿两条路线推进：一条是量化，通过降低每个缓存项的位宽来省显存；另一条是令牌削减，减少解码阶段真正参与注意力运算的缓存项数量[4]。后者以剪枝类方法为主，但存在注意力质量在剩余区间被重新分配、回答准确率下降的问题，同时分离式服务架构下 prefill 与 decode 工作节点之间的缓存传输成本也构成瓶颈[4]。
2026 年 6 月 24 日至 26 日，在济州国际会展中心举行的韩国计算机综合学术大会（KCC 2026）上，西江大学计算机工程系 DISCOS 研究室的论文《SurrogateKV：基于注意力稳定的语义保持 KV 缓存压缩》获得计算机系统部门最优秀论文奖，作者为金俊元、柳贞贤与金永宰[9]。同年，团队以《SurrogateKV：面向长上下文大语言模型的表示保持型 KV 缓存压缩》为题的论文被自然语言处理国际会议 EMNLP 2026 的 Findings 收录，作者还包括法里德·塔利布利与苏贞敏[10]。
应用
SurrogateKV 面向需要处理长输入的 LLM 服务，可用于长文问答、长篇摘要以及检索增强生成等场景，这些场景中缓存体积与节点间传输开销直接决定服务成本与响应速度[1]。在长上下文问答、摘要与检索类基准测试中，该方法的成绩比既有剪枝方法更稳定[3]。
它与已有压缩策略可以叠加使用。在 LongBench 评测中，与 Ada-KV 结合后的版本在每层 512 个槽位的预算下取得 41.26 分，高于单独使用 Ada-KV 的 40.77 分；此时平均只用到完整 KV 缓存约 10.5% 的 prefill 缓存，性能保持在完整方案的 98.4%[7]。与 SnapKV 结合的版本在 128 与 512 两种缓存设置下分别得到 37.99 分和 40.88 分，比对照中表现最好的既有方法高出 3.20 分与 1.38 分[10]。在检索准确率评测 NIAH 中，它把 SnapKV 的平均准确率从 87.51 分提升到 98.84 分[7]。
在只保留 25% 缓存容量的条件下，该方法的评测分数比 PyramidKV 高 9.73 分，相对使用完整 KV 缓存的方案，首个令牌生成时间（TTFT）的增加最多为 22.9 毫秒[6]。
局限
替代 KV 本质上是对一个连续区块的聚合，单令牌难以完整承载区块内的全部细节，因此被压缩区间中区分度较高的信息仍可能丢失，方法的收益依赖于区块内部键值表示的一致性[4]。其重要度判断来自近期后缀令牌的注意力质量，这一信号是否在所有任务与模型上都稳定，论文并未给出普遍性结论[4]。
从公开评测看，该方法的主要结果集中在 LongBench、NIAH 等长上下文基准以及 25% 剩余缓存等特定预算区间，其他预算和更多类型的下游任务上的表现尚缺乏系统验证[7]。此外，压缩过程本身需要在推理时执行区块划分、重要度评估与替代构造，会带来额外的计算与实现复杂度，其与其他压缩机制的叠加效果也取决于具体组合方式[10]。
参见
参考资料
- 컴퓨터공학 [引用日期2026-10-14]
- 서강대 DISCOS연구실 논문 'SurrogateKV'.. KCC2026 컴퓨터시스템 최우수논문상 [引用日期2026-10-14]
- 서강대, 'KCC 2026' 컴퓨터시스템 최우수논문상 수상 [引用日期2026-10-14]
- SurrogateKV: 어텐션 안정화 기반 의미보존 KV 캐시 압축 [引用日期2026-10-14]
- 서강대 연구팀, 컴퓨터종합학술대회서 최우수논문상 받아 | 중앙일보 [引用日期2026-10-14]
- Sogang University [引用日期2026-10-14]
- articleView [引用日期2026-10-14]
- 서강대 김재영 교슈팀, LLM ‘기억공간’ 줄이고 성능 지키는 AI 기술 개발 [引用日期2026-10-14]
- 서강대 컴퓨터공학과 김영재 교수 연구팀, 2026 한국컴퓨터종합학술대회(KCC2026) 최우수논문상 수상 [引用日期2026-10-14]
- 서강대 연구팀, LLM 장문맥 처리 효율 높인 KV 캐시 압축기술 개발 | 중앙일보 [引用日期2026-10-14]