协变量偏移是机器学习中训练数据与测试数据的输入特征分布不一致、但特征与标签之间的条件关系保持不变的现象。它属于分布偏移的一种，也被视为域偏移的特殊情形。由于多数监督学习模型默认训练与部署阶段的数据同分布，协变量偏移会令在训练集上表现良好的模型在实际部署时性能明显下降，因此在医疗诊断、自动驾驶、故障诊断等场景中受到广泛关注。
定义
协变量偏移指在监督学习任务中，输入特征（协变量）的边缘分布在训练阶段与测试阶段不一致，而给定输入特征后标签的条件分布保持稳定的情形，可用 $P_{S}(x) \neq P_{T}(x)$ 与 $P_{S}(y|x) = P_{T}(y|x)$ 表示，其中 $S$ 与 $T$ 分别代表源域和目标域[1]。它是分布偏移的一个分支，与概念偏移、标签偏移相区别：概念偏移中特征与标签的映射关系发生改变，标签偏移中标签的边缘分布发生变化[2]。
统计学家称这类问题为协变量偏移，原因在于偏移由协变量即特征的分布变化引起[3]。在实际研究中，协变量偏移被看作域适应理论中一个被广泛讨论的特殊情形，训练样本往往因选择偏差而按特征被抽取得不均匀[4]。
原理
模型训练时通常最小化经验风险，即在训练样本上求平均损失，以此近似服从真实分布时的期望风险[3]。当测试样本来自与训练不同的输入分布时，这一近似会产生偏差，测试分布上定义的风险与训练风险不再一致[5]。
一种基本纠正思路是重新加权训练样本，令加权后的输入分布接近测试分布。由于条件分布不变，真实风险可改写为在训练分布下对损失乘以密度比 $w(x) = \frac{p_{te}(x)}{p_{tr}(x)}$ 的期望，该比值被称为重要性权重[6]。下平英寿在 2000 年证明，在模型设定不正确时，使期望 Kullback-Leibler 损失最小的最优权重正是总体协变量密度与观测协变量密度之比；若模型设定正确，普通最大似然估计仍是最优的[7]。
重要性的估计是这一流程的前置步骤，可借助核密度估计等非参数方法，也可不显式估计分布而直接求取权重[8]。另有一类做法不在样本层面加权，而是要求模型学习对偏移不敏感的域不变表示，通过统计匹配或对抗式域判别器使源域与目标域的特征分布趋于一致[1]。
在诊断方面，可把训练与测试数据混合后训练一个区分来源的分类器，若该分类器能轻易分辨样本来自哪一侧，则说明特征分布存在系统性差异；偏移越严重，区分难度越低[2]。也可持续监测训练误差与测试误差之间的泛化间隙是否扩大，或使用最大均值差异一类的双样本检验直接比较两域特征分布[2]。
发展历程
对协变量偏移的系统性统计处理可追溯到 2000 年。下平英寿在同年的论文中给出了协变量偏移的形式化描述，提出通过对数似然加权改进预测推断，并推导出密度比形式的渐近最优权重，相关工作发表于《统计规划与推断杂志》第 90 卷。
此后研究者陆续提出直接估计重要性而不必先分别估计两个分布的方法，并发展了重要性加权的模型选择准则。由于完全的重要性加权会放大估计方差，有研究提出对权重做指数压平或采用相对重要性权重，在统计效率与一致性之间取得折中[9]。
2010 年代以后，随着深度学习的推广，处理协变量偏移的思路扩展到表示学习与域适应。相关综述将协变量偏移列为域适应理论的特殊情形之一，与先验偏移、概念偏移和子空间映射并列讨论[10]。近年来还出现了在测试阶段利用无标签目标数据在线更新模型的测试时自适应方法，用以应对开放环境中持续演化的分布[1]。
应用
医疗领域是协变量偏移的典型场景。不同医院使用的成像设备、采样人群与记录方式存在差异，在某一机构数据上训练的模型迁移到另一机构时，准确率可能明显下滑。有研究以学术医院数据训练再入院预测模型并迁移至安全网医院，平均准确率下降约 6.1%，经核查发现某一特征在两家机构的提取方式不同，修正后协变量偏移引起的子群体准确率下降不再显著[11]。
医学图像分析中的域适应研究同样以机构与扫描仪变化导致的偏移为主要动因，常用的数据集涵盖脑肿瘤分割、前列腺分割、心脏图像分割等任务[12]。
在自动驾驶与机器人领域，训练数据常来自特定天气或合成渲染环境，部署环境的光照、路面纹理与之不同，会构成明显的输入分布差异[13]。从仿真环境向现实环境迁移时，模型若只学到仿真器特有的纹理等表面特征，在真实场景中表现会急剧退化，域随机化等做法通过增加训练图像变换的多样性来缓解这一问题[5]。
此外，推荐系统面临用户群体变化、计算广告面临新设备涌入、故障诊断面临工况与转速变化，都会产生输入特征分布与训练阶段不一致的情况[14]。
局限
重要性加权并非对所有偏移都有效。它要求训练分布覆盖目标分布的支撑集，若目标分布中存在训练时完全未出现的区域，例如数据集中只包含男性而目标人群包含两性，那么无论怎样重新加权都无法把训练集变换成目标分布[15]。
重要性加权还会提高经验风险估计的方差，在权重估计不准确时甚至可能使性能低于不处理偏移的基线[15]。权重估计本身是难点，当密度比难以准确估计时，基于压平权重或相对权重的修正也会随之失效[9]。
重新加权的作用也存在理论边界。测试误差不仅受分布差异影响，还取决于模型类是否设定正确；若模型设定正确，普通最大似然估计本身即具一致性，重新加权的收益有限，只有在模型误设时重加权才可能带来改善[16]。
学习域不变表示同样有风险。若强行让特征对引起偏移的因素保持不变，而该因素与预测目标并非相互独立，就可能一并抹去有效信号[15]。有研究亦指出，这类方法多依赖静态统计假设和目标域先验，在分布持续演化的开放环境中适应性有限[1]。
在模型评估层面，常规交叉验证假定各折数据同分布，协变量偏移会使该分数产生偏差，需要改用重要性加权的交叉验证才能得到无偏估计[17]。
参见
参考资料
- 分布偏移场景下图神经网络测试时自适应方法(PDF) [引用日期2026-10-14]
- 协变量偏移 | Bohrium [引用日期2026-10-14]
- 深度学习入门（十五）环境和分布偏移（了解） [引用日期2026-10-14]
- A Primer on Domain Adaptation Theory and Applications [引用日期2026-10-14]
- 模式识别Pattern Recognition [引用日期2026-10-14]
- Direct importance estimation for covariate shift adaptation [引用日期2026-10-14]
- zbmath.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- RuLSIF(PDF) [引用日期2026-10-14]
- A Primer on Domain Adaptation [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- Component Domain - Chapters and Articles [引用日期2026-10-14]
- Domain Shift | Bohrium [引用日期2026-10-14]
- 深度学习之环境和分布偏移 [引用日期2026-10-14]
- giab055_giga-d-21-00081_revision_2(PDF) [引用日期2026-10-14]
- wen14 [引用日期2026-10-14]
- Covariate Shift - Chapters and Articles [引用日期2026-10-14]