Next Concept Prediction是语言模型预训练中的一种训练目标，简称NCP，中文常译作下一个概念预测。它在传统的下一个词元预测（Next Token Prediction，NTP）之外，让模型额外预测跨越多个词元的离散「概念」——即把若干个连续词元的隐藏状态聚合、量化后得到的隐空间表征。该目标被视为比逐词元预测更难的预训练任务，其代表模型ConceptLM与NCP-ArchPreview在多项基准上报告了相对词元级基线的性能提升与训练词元预算的节省。
定义
Next Concept Prediction（下一个概念预测，简称NCP）是一种面向自回归语言模型的生成式预训练范式，它建立在下一个词元预测（Next Token Prediction，NTP）之上。与逐词元预测不同，NCP要求模型预测跨越多个词元的离散概念，因而构成一个难度更高的预训练目标。[1]
这里的「概念」并非人工定义的语义标签，而是模型隐藏状态经过池化与量化后得到的隐空间表征，一组连续词元对应一个概念。模型在预测下一个概念的同时仍然预测下一个词元，概念预测结果再被反馈到词元层面，用于引导后续词元的生成。[2]
原理
NCP的核心构造是把词元级的连续隐藏状态转化为离散的概念词表。以ConceptLM为例，模型用均值池化把每4个相邻词元的隐藏状态聚合成一个连续的概念表征，概念序列长度因此压缩为原来的四分之一；随后通过向量量化把连续表征映射到码本中的离散条目，形成可预测的概念词表。为扩大表征容量又不使码本规模失控，该工作采用乘积量化，把每个概念表征沿特征维切分为若干段，每段各自使用一个独立码本。[3][2]
整体结构通常分为三段：词元编码器把原始词元序列编码为隐藏状态；概念模块负责聚合、量化并自回归地预测下一个概念；词元解码器把预测到的概念表征与词元隐藏状态融合，再输出下一个词元的分布。概念反馈需要经过因果位移，即在时间轴上平移若干个词元位置后再重复扩展到词元分辨率，以保证解码第t个词元时不会接触到未来信息。[2]
训练时通常联合优化三个目标：词元级的交叉熵损失、概念预测损失和量化损失。ConceptLM中概念预测损失采用均方误差，让预测概念回归到真实的概念表征；量化损失使码本条目跟随编码器输出的连续隐空间。消融实验显示，单独使用其中任一损失都会带来性能下降，说明离散概念的学习与概念预测之间存在相互依赖。[3][2]
NCP-ArchPreview在OLMo-3-7B的词元级设计上增加了概念模块、乘积量化概念词表与分层残差连接，总参数量约8.94B。其词元编码器与解码器各16层，概念模块8层；概念压缩率为每4个词元状态对应1个概念，乘积量化使用32个码本，每个码本含128个维度为128的码字。词元级注意采用4096词元的局部窗口，每第4层使用全注意力。
发展历程
在NCP出现之前，自回归语言模型的主流预训练目标一直是下一个词元预测。研究者指出，NTP属于较低层次的训练目标，随着模型规模增大，可能无法充分利用模型容量去学习高层抽象与长程规划；既有的多词元预测方法虽然一次预测多个未来词元，其损失函数仍绑定在浅层的词元上。[3][2]
2026年2月，题为《Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models》的论文在arXiv发布，作者包括Yuliang Liu、Yunchong Song、Yixuan Wang、Kewen Ge、Alex Lamb、Qipeng Guo、Kai Chen、Bowen Zhou、Zhouhan Lin等，提出NCP目标与配套模型ConceptLM，并公开了官方实现。该研究在70M至1.5B参数规模、最多300B训练数据上从零训练模型，所用的骨干包括Pythia与GPT-2。[4]
其后，上海人工智能实验室与上海交通大学LUMIA Lab组成的团队发布NCP-ArchPreview技术报告，把这一思路扩展到8.9B参数、5.73T词元的大规模预训练，并公开了分阶段检查点等资产。报告称这是目前规模最大的隐空间语言模型演示。
应用
NCP目前主要作为语言模型的预训练目标使用，用于提升模型在语言建模与下游任务上的表现。ConceptLM在13个基准上的评测结果显示，NCP相对传统词元级模型带来一致的性能提升；对8B参数的Llama模型做继续预训练的实验表明，NCP还能进一步改善已经用NTP训练过的模型。
在已有工作基础上，ConceptLM报告了参数与数据效率方面的结果：以950M参数或76%的训练词元达到与1.5B参数GPT-2基线相当的表现；对Llama-3.1-8B仅用9.6B词元做继续预训练，在MMLU、ARC-C、AGIEval、SQuAD四项基准上平均分提高0.4。[2]
除预训练外，学到的离散概念空间本身也可充当轻量适配与推理加速的接口。NCP-ArchPreview的实验显示，冻结词元骨干、仅更新约1700万参数的概念码本与预测头即可用于领域适配；把概念表征注入DFlash2草稿模型后，推测解码的平均接受长度相对提升4.17%。
局限
NCP会引入额外的架构复杂度。相比标准Transformer，模型需要增加量化模块、概念预测头以及跨模块的信息通路，实现上还需谨慎处理概念序列的位移，以防止未来信息泄漏，这增加了工程实现的难度。[2]
量化环节对超参数较为敏感。相关分析指出，向量量化模块需要仔细调节超参数才能避免码本坍缩，这在很大程度上限制了方法的易用性；而码本大小、分段数等超参数的最优取值可能随模型规模变化，需要逐案搜索。[5][2]
验证范围仍然有限。已公开的实验集中在GPT-2、Pythia与Llama等骨干上，对其他架构以及更大规模模型的泛化性尚无验证；此外，NCP-ArchPreview发布的是预训练基座模型，未经对话助手对齐，可能产生不准确、有偏见或有害的内容，其学到的概念码字也不保证对应人类可解释的语义概念，报告的上下文长度为8192词元。[5]
在NCP-ArchPreview的对比中，51.3%词元追平基线最终训练损失的结论衡量的是达到参考损失所需的词元数量，并不代表实际训练墙钟时间或推理吞吐上的同等倍数优势。
参见
参考资料
- huggingface.co 上的网页 [引用日期2026-10-14]
- lunadong.com 上的网页 [引用日期2026-10-14]
- alphaxiv.org 上的网页 [引用日期2026-10-14]
- ConceptLM [引用日期2026-10-14]
- Next Concept Prediction in Discrete Latent Space Leads to [引用日期2026-10-14]