可解释人工智能

定义

可解释人工智能研究的是怎样让一个人工智能系统的输出能够被人类核对和追责，即能够说明某个结果为什么会被产生^[1]。与之相邻的两个概念需要区分：可解释性指能够讲清某个输出产生的理由，可理解性则更强，指可以直接查看模型的内部机制^[1]。

这一方向之所以重要，是因为在感知与语言任务上表现最好的模型族，主要是深度神经网络和大规模集成模型，它们把决策逻辑分散在数百万乃至数十亿个参数中，参数与概念之间不存在可读的对应关系^[1]。当这类系统被用于医疗、金融、司法等后果重大的场景时，领域专家需要核验结论，使用者也需要判断能否信任系统^[2]。

原理

从技术路线看，可解释人工智能大致分为两类。第一类是本身可解释的模型，例如特征数量不多的线性回归与逻辑回归、浅层决策树、规则列表、广义可加模型和评分卡系统；这类模型的结构本身就是解释，在预测性能相当的情况下可以避开保真度问题^[1]。第二类是事后解释，即先训练不透明的模型，再用另一套过程描述其行为^[1]。

事后解释又可按作用范围分为全局与局部。全局解释刻画模型的整体行为，常用代理模型、部分依赖图或特征重要性排序；局部解释只针对单次预测给出说明^[1]。社区还常按方法是否依赖模型结构，区分模型无关与模型相关两类^[3]。

特征归因是使用最广的局部方法家族。LIME 在待解释样本的邻域内采样，拟合一个简单的可解释模型，把得到的系数当作各特征的贡献^[1]。SHAP 借合作博弈论中的夏普利值重新表述归因问题，具有可加性与一致性等性质，但计算代价较高^[1]。这类方法可统一写成在邻域加权样本上最小化损失与复杂度之和：$\operatorname{explanation}(x)=\arg\min_{g\in G} L(f,g,\pi_x)+\Omega(g)$。

此外还有基于梯度的方法，包括积分梯度与逐层相关性传播，它们利用模型可微性把输出回溯到输入像素或词元；显著图把结果可视化呈现；反事实解释则给出能使决策翻转的最小输入改动，对受影响者往往更具可操作性；基于样例的方法则给出有影响力的训练样本或原型^[1]。

发展历程

对解释的追求几乎与人工智能研究同样久远，但 2012 年深度学习的突破带来了范式转变：模型复杂度骤增，内部机制愈发不透明^[4]。早在 20 世纪 80 年代就出现了解释系统的研究，此后相关方法不断增多^[5]。

2015 年，柏林工业大学与弗劳恩霍夫海因里希·赫兹研究所的团队提出了逐层相关性传播，这是第一种系统解释神经网络决策的通用方法，其思路是把模型决策反向通过网络回传，对预测贡献更大的神经元获得更高的相关性分值^[4]。这种方法能揭示模型的问题行为，例如有图像分类模型并非依据马本身，而是依据图片上常见的版权水印来识别马的图片^[4]。

2016 年，美国国防高级研究计划局启动「可解释人工智能」项目，目标是开发在保持高预测性能的同时生成可解释模型的机器学习技术，使操作者能够理解、适度信任并有效管理所运行的系统^[1][6]。项目设定了可解释学习器与解释的心理学模型两类任务，共选出 11 个研究团队，由美国海军研究实验室负责评估，并开发了解释评分系统来量化评估用户研究的设计质量^[6]。项目设想的模型表示路线包括可解释模型、深度解释与模型归纳三种，同时把解释界面视为关键环节^[6]。

2018 年至 2023 年前后，研究重心从解释单次预测转向理解模型内部机制，出现了概念相关性传播、解耦相关子空间分析等方法，它们不只分析输入相关性，还考察单个神经元与神经子结构的作用；例如概念相关性传播曾被用于可视化阿尔茨海默病分类模型所学的概念，并与医学已知脑区作比较^[4]。2020 年 8 月，美国国家标准与技术研究院公布了可解释人工智能的四项原则草案，即解释、有意义、解释准确性、知识边界，供研究者与实践者参考^[7]。

应用

可解释人工智能已应用于临床决策支持与医学影像、信用评分与承保、反欺诈、合规与算法审计、自动驾驶与安全攸关控制、模型调试与数据质量诊断，以及从学习到的模型中开展科学发现^[1]。在医学影像中，显著图可以标出对模型判断影响最大的区域，帮助放射科医师判断某个结节为何被判为可疑^[8]。

在表格数据与工业场景中，部分依赖图、个体条件期望曲线等方法被用来观察特征与预测之间的关系，据此设定阈值并用于设备故障的实时检测^[9]。在自然语言处理、计算机视觉、时间序列、图学习、强化学习与推荐系统等领域，也形成了各自的可解释方法组合与评测实践^[3]。

局限

事后解释本身是一种近似，存在保真度风险：一个看似合理、却不符合模型实际计算的解释，可能提高而非降低使用者的错误信心^[1]。局部解释还可能不稳定，LIME 的结果依赖邻域的构建方式，特征相关性也会影响归因结果的可靠性^[10]。

解释还引入了新的安全面。有研究指出，特征重要性等技术可能被操纵，用来误导使用者、掩盖模型的不公平；相关研究因此提出 ε-稳定性等要求，即输入的微小扰动不应导致解释发生剧烈变化^[11]。

评测环节同样存在问题。现有评估实践对计算类指标的重视超过对人类理解的衡量，这被认为是实验室表现良好而实际部署失败的原因之一^[12]。此外，监管要求往往缺乏可操作的定义，企业难以判断自身是否合规；而可解释性研究自身也受限于语言、数据库覆盖范围与领域侧重，中文等非英语学术群体的贡献可能被系统性低估^[12]。

在方法适用性上，因果与反事实分析仍面临困难。归因分值常把相关性与因果性混同，可能给出误导性的解释；许多因果推断方法需要显式构建图结构，对大规模深度模型计算上难以承受，且解释的粒度往往偏粗^[13]。此外，注意力权重等内部信号并不总能真实反映模型行为^[11]。

参见

• 可解释性 —— 与可解释人工智能直接对应的核心概念，指能够说明输出产生的理由。

• 黑箱模型 —— 决策依据难以直接阅读的一类模型，是本方向要处理的主要对象。

• LIME —— 一种模型无关的局部事后解释方法，在样本邻域内拟合简单代理模型。

• SHAP —— 基于夏普利值的特征归因方法，提供具有可加性的解释。

• 逐层相关性传播 —— 基于梯度的神经网络解释方法，把决策相关性反向回传到输入。

• 美国国家标准与技术研究院 —— 发布了可解释人工智能四项原则的机构。