注意力门控是神经网络中把注意力机制与门控机制结合起来的结构，它先为输入特征计算一组权重系数，再用这些系数对特征做选择性放大或抑制。由于权重通常由 Sigmoid 等激活函数压缩到 0 到 1 之间，网络可以自适应地决定哪些信息保留、哪些丢弃，从而在参数量增加有限的前提下提升模型的表达能力和训练稳定性。
定义
注意力门控是深度神经网络中的一类结构，它把注意力权重的计算与门控式的相乘操作结合起来，为每个输入位置或每个特征通道生成一个 0 到 1 之间的系数，再用逐元素相乘的方式调制原始特征。系数接近 1 表示该特征被保留并增强，接近 0 表示被削弱或屏蔽，因此注意力门控实际上是一种输入相关的软性筛选器[1]。
在卷积神经网络中，注意力门控常被安置在编码器与解码器之间的跳跃连接上；在循环网络和 Transformer 中，它也可以作用于隐状态或单个注意力头的输出[2][3]。与只改变注意力分布的做法不同，注意力门控还额外引入了对特征本身的乘性调节，兼具选择与过滤两种作用[4]。
原理
注意力门控的核心是对两路信号做加性组合后求门控系数。以医学图像分割中常用的形式为例，被门控的特征记作 $x_i^l$，来自较粗尺度、携带上下文信息的门控信号记作 $g_i$，两者分别经线性变换后相加，再依次通过 ReLU 与 $1\times1$ 卷积，最后用 Sigmoid 得到注意力系数。其计算过程可写作 $q_{att}=\psi^{\top}\left(\sigma_1\left(W_x^{\top}x_i^l+W_g^{\top}g_i+b_g\right)\right)+b_{\psi}$，$\alpha_i=\sigma_2(q_{att})$[5]。
得到的系数会经上采样对齐空间尺寸后与原始特征逐元素相乘，即 $\hat{x}_i^l=x_i^l\cdot\alpha_i^l$；在多类别任务中，还可以为每个像素学习多维系数，使不同的门聚焦于不同的目标结构。这一过程的计算开销主要来自若干 $1\times1$ 卷积，因此可以较容易地嵌入既有的卷积网络中[2]。
在基于注意力块的架构中，门控还可以采用更一般的写法：对注意力层的输入与输出做 Sigmoid 调制后组合，或用门控循环单元把两者串接，生成门控后的注意力输出[6]。在多头的设定下，可以对每个头的输出分别计算门控向量 $g_i=\sigma(W_g\cdot head_i+b_g)$，得到 $GatedHead_i=g_i\odot head_i$，再拼接并投影，从而在特征维度上实现自适应的缩放[1]。
发展历程
门控的思想最早来自循环神经网络。长短期记忆网络通过输入门、遗忘门和输出门控制信息在记忆单元中的写入与保留，这些门均由 Sigmoid 激活，取值落在 0 到 1 区间，相当于对信息流的开合程度进行调节[7]。
注意力机制则源于编码器—解码器框架下对输入序列各位置分配不同权重的做法，随后被广泛用于图像描述、机器翻译和分类等任务。把两类结构结合起来的关键一步出现在 2018 年 4 月，Oktay 等人提出面向医学图像的注意力门模型，并给出注意力 U-Net 架构[2]。
此后，门控被引入 Transformer。相关研究提出了 copy gate 等变体，使模型可以在门关闭时跳过整个 Transformer 层，且门的开关状态由注意力输出决定[8]。在后续工作中，门控还与线性注意力结合，被解释为一种记忆衰减机制，门值通常表示为 0 到 1 之间数值的累积乘积[9]。
应用
医学图像分割是注意力门控最主要的应用场景。在腹部 CT 的多类分割任务中，加入注意力门的模型在不同数据集和不同训练规模下都稳定优于原始 U-Net，无需额外的器官定位模块[2]。在脑肿瘤、肺部感染等 MRI 或 CT 分割任务里，注意力门被用于在跳跃连接处过滤无关信息、突出病灶区域[10][11]。
在序列建模任务中，注意力门控同样被广泛采用。例如多模态业务预测模型用注意力门控单元对不同数据模态动态赋权，去掉该单元后模型的方向准确率下降约 5 个百分点[12]。电力设备图像识别中，有研究用长短期记忆网络的门控结构对图像特征进行空间位置级别的建模，以抑制颜色和纹理带来的干扰[3]。
在自然语言处理与语音识别领域，门控也被用于注意力层与卷积层之间，例如在分类层前加入挤压激励门控以强化显著特征[13]。Oktay 等人的工作也提到，注意力门此前已在图像描述、机器翻译和知识图谱等任务中被使用。
局限
注意力门控的收益依赖超参数与随机种子等设置，不同任务上的效果并不一致。有研究指出，在语言建模任务中，用标准高速门替换 Transformer 的残差连接通常得不到改善；门控线性单元的收益也随任务而变化[8]。
门控结构会带来额外的参数与计算量。多模态预测模型在同时使用长短期记忆网络、Transformer 块和注意力门控单元后，计算复杂度上升，在数据规模很大时可能面临扩展性方面的困难[12]。此外，注意力门通常基于实值特征设计，难以直接用于复数特征，有研究为此专门改造出复数版注意力门[14]。
可解释性也受到限制。尽管注意力机制提供了一定程度的可解释线索，但含门控的复杂模型整体上仍难以向使用者清晰说明其判断依据[12]。同时，注意力门本身并不具备时序建模能力，需要与循环结构或卷积结构配合，才能刻画输入的顺序信息[1]。
参见
-
注意力机制 —— 注意力门控所依赖的权重分配基础。
-
U-Net —— 注意力门控最早被系统引入的卷积网络架构。
-
长短期记忆网络 —— 门控思想的早期来源之一。
-
Transformer —— 在注意力层中引入门控以提升稳定性的架构。
-
Sigmoid 函数 —— 生成 0 到 1 门控系数的常用激活函数。
参考资料
- The multi- head attention mechanism is formulated as follows [引用日期2026-10-14]
- Attention U-Net: Learning Where to Look for the Pancreas [引用日期2026-10-14]
- references [引用日期2026-10-14]
- neurips.cc 上的网页 [引用日期2026-10-14]
- 230517FINALGSI-051(PDF) [引用日期2026-10-14]
- US20220366218A1(PDF) [引用日期2026-10-14]
- Persistence pays off: Paying Attention to [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- arxiv.org 上的网页 [引用日期2026-10-14]
- Garuda - Garba Rujukan Digital [引用日期2026-10-14]
- S1687850725003620 [引用日期2026-10-14]
- figures [引用日期2026-10-14]
- references [引用日期2026-10-14]
- core.ac.uk 上的 PDF 文件 [引用日期2026-10-14]