Concept Erasure是生成式人工智能领域的一种模型编辑技术,指在不重新训练整个模型的前提下,从已训练好的模型内部削弱或移除特定概念的生成能力。它主要针对文本到图像扩散模型,被用来抑制色情、暴力等不适宜内容以及受版权保护的艺术风格、特定人物形象等。由于从零重训大模型的成本极高,这类低成本的后处理手段被视为生成式模型安全部署的重要环节。
定义
Concept Erasure指从已经完成预训练的生成模型中,有选择地移除某类概念的过程,其操作对象是模型内部的表示或参数,而不是输入提示或输出图像。相关研究通常把它看作机器遗忘(machine unlearning)在生成模型上的一个分支,目标是让模型在遇到与目标概念相关的提示时不再产生对应内容,同时尽量不影响其他概念的生成质量。
研究者把待擦除的对象称为目标概念,它可以是一个具名实体,如某位艺术家或某个知名人物,也可以是一类宽泛的语义范畴,例如裸露、暴力或某个受版权保护的角色。为控制副作用,部分方法还会引入保留概念作为参照,用来衡量擦除是否被限制在局部范围内[1]。擦除通常用两个指标衡量:对目标概念的擦除效果,以及对非目标内容的保留程度[2]。
原理
文本到图像扩散模型通过在多个时间步上迭代去噪,把高斯噪声逐步转换为图像,其内部学习的是一个条件噪声预测函数,即给定噪声图像、时间步和文本条件,估计所添加的噪声。概念擦除正是在这一函数上做文章:通过微调或参数编辑,使模型在文本条件指向目标概念时,其条件预测偏离该概念的分布。以 Erased Stable Diffusion 为代表的早期工作,把负向引导当作教师信号,利用模型自身对概念的先验知识构造监督目标,因此不需要额外的训练数据[3]。
从数学形式上看,这类方法把生成目标概念的分布按一个幂次因子压低,即让 $P_{\theta^{*}}(x) \propto P_{\theta}(x) / P_{\theta}(c|x)^{\eta}$,其中 $c$ 为待擦除概念,$\eta$ 控制擦除强度。据此导出的噪声预测更新可写为 $\epsilon_{\theta^{*}}(x_t,c,t) \leftarrow \epsilon_{\theta}(x_t,t) - \eta[\epsilon_{\theta}(x_t,c,t) - \epsilon_{\theta}(x_t,t)]$,微调后模型的条件预测便朝着远离被擦除概念的方向移动[4]。
按实现路径,现有方法大致分为几类。一类是微调式,直接更新 U-Net 的权重,如 ESD 及其变体[3];一类基于闭式解,用线性代数运算直接改写交叉注意力层的投影矩阵,代表工作为 Unified Concept Editing[5];还有一类插入轻量适配模块或采用剪枝、激活修补等免训练手段,例如在交叉注意力层之后加装小型擦除器、识别并置零对目标概念敏感的神经元[1][5]。
也有方法把擦除建立在正交补空间运算上。AdaVD 在扩散模型 U-Net 每个交叉注意力层的价值空间中执行正交补运算,并设计自适应偏移因子调节擦除强度,在不牺牲擦除效果的前提下提升先验知识保留能力[2]。
发展历程
概念擦除的系统研究始于 2023 年。当年 3 月,美国东北大学与麻省理工学院的研究者提出 Erased Stable Diffusion,首次给出仅凭概念名称、不依赖额外数据即可从扩散模型权重中删除视觉概念的方法,该工作随后发表于国际计算机视觉会议 ICCV 2023[6]。
此后研究沿着效率与规模两个方向推进。Unified Concept Editing 提出用闭式解改写交叉注意力参数,把擦除时间压缩到分钟量级;Mass Concept Erasure 采用多阶段框架同时处理大量概念;Forget-Me-Not 通过注意力重定向损失,可在约 30 秒内完成一次概念擦除[5]。2024 年,台湾大学团队提出的 Receler 在交叉注意力层后加入仅占模型参数约 0.37% 的轻量擦除器,并在训练中引入对抗提示学习,该成果发表于欧洲计算机视觉国际会议 ECCV 2024[7][1]。
评估体系同步建立。研究者先后提出 EraseBench、EMMA、M-ErasureBench 等基准,覆盖上百个概念类别与多种指标,用于考察擦除效果、图像质量以及在对抗提示下的鲁棒性[8][9]。随着扩散 Transformer 成为新范式,针对单流架构的 Z-Erase、面向流匹配模型的 EraseAnything 等方法相继出现,擦除对象也从 U-Net 扩展到新的模型结构[10][11]。
应用
概念擦除的典型用途是抑制生成模型中的不适宜内容。相关方法以裸露、暴力、自残等概念为擦除对象,在 Inappropriate Image Prompts 等基准上评估其降低不当内容产出的效果[3][12]。
另一类应用关乎知识产权与人格权益。研究者尝试擦除特定艺术家的绘画风格、受版权保护的角色形象以及可辨识的人物身份,使模型在收到相关提示时改用中性风格呈现,而不是复现原作特征[7][1]。
在工程层面,部分方法追求低成本与可在线部署,以便内容平台在有害概念不断涌现的情况下快速响应。免训练与轻量化方法省去了对整个模型的反向传播,适配实时擦除需求;也有工作把擦除扩展到文本到视频模型与扩散 Transformer 架构[5][9]。
局限
擦除的有效性往往有条件。多项研究表明,被擦除的概念并未从模型的潜在表示中真正消失,只需少量微调或构造对抗提示,就可能重新生成对应内容,这类现象被称为概念复活或概念再学习[13]。有研究进一步指出,通过参数层面的再学习框架,Stable Diffusion 类 U-Net 与流匹配 Transformer 上被擦除的概念都能被重新激活[11]。
副作用是另一项突出问题。ICCV 2025 的一项工作提出 EraseBench 基准,发现概念之间存在纠缠:擦除一个目标概念会意外抑制在视觉上相似、语义相关或互为对立面的非目标概念,表现为图像扭曲与生成质量下降[8]。例如擦除某位画家后,风格相近的同行也会受到波及;擦除具体身份概念还可能损害更宽泛的类别生成能力[14][9]。
在评价与泛化方面,擦除强度与先验知识保留之间存在难以两全的权衡:对抗训练类方法擦除更彻底,但对相近概念的干扰更大;基于权重扰动的方法保留效果较好,擦除力度则相对有限[14]。此外,仅用单一语义描述符代表目标概念会遗漏该概念在图像中的多种表现方式,例如擦除某位画家的名字后,模型仍可能通过提示其代表作来复现其风格[15];已有评估也指出针对隐式提示与多模态攻击面的测试仍不充分[9]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-14]
- thecvf.cn 上的网页 [引用日期2026-10-14]
- Erasing Concepts from Diffusion Models [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- 23a4d89ef40d45b4ba1c70c47b856ac4-Paper-Conference(PDF) [引用日期2026-10-14]
- thecvf.com 上的网页 [引用日期2026-10-14]
- NSTC-新聞資料-AI不再學壞!「概念抹除」技術教模型避免暴力與侵權 [引用日期2026-10-14]
- thecvf.cn 上的网页 [引用日期2026-10-14]
- thecvf.com 上的 PDF 文件 [引用日期2026-10-14]
- icml.cc 上的网页 [引用日期2026-10-14]
- obspm.fr 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- Amara_Erasing_More_Than_ICCV_2025_supplemental(PDF) [引用日期2026-10-14]
- Retrieval-Augmented Concept Erasure in Diffusion Models [引用日期2026-10-14]