定义
双深度 Q 网络是一种把双 Q 学习思想引入深度 Q 网络的深度强化学习算法，属于基于值函数的方法。它用深度神经网络近似动作价值函数，并在计算自举目标时把动作的选取与动作价值的评估交给不同的网络处理[1]。
在标准 Q 学习与深度 Q 网络中，目标值里的最大化算子既被用来挑出动作，又被用来给出该动作的价值，因此容易选中被高估的值，产生过于乐观的价值估计[1]。双深度 Q 网络通过解耦这两步来抑制这种偏差，被视为深度 Q 网络的直接改进方案之一[3]。
原理
标准 Q 学习的目标值写为 $Y_t^{Q} = R_{t+1} + \gamma \max_a Q(S_{t+1}, a; \theta_t)$，其中 $R_{t+1}$ 是即时奖励、$\gamma$ 是折扣因子、$\theta_t$ 是网络参数。由于选取动作和评估动作使用同一组参数，同一组估计误差会被同时用于挑选与打分，目标值容易偏高[1]。
双深度 Q 网络把该目标改为 $Y_t^{\mathrm{DoubleQ}} = R_{t+1} + \gamma Q(S_{t+1}, \operatorname{argmax}_a Q(S_{t+1}, a; \theta_t); \theta_t')$。动作仍由在线网络参数 $\theta_t$ 选出，而它的价值由另一组参数 $\theta_t'$ 给出；两组参数可以对称地交替更新[1]。
在深度 Q 网络的实现中，这套机制通常直接借用已有的目标网络：先用在线网络选出下一状态中价值最大的动作，再用目标网络评估该动作的价值，随后把该目标值与在线网络输出之差的平方作为损失，通过梯度下降更新参数[3]。因此与深度 Q 网络相比，双深度 Q 网络并不增加网络数量，只改变目标值的计算方式[4]。
flowchart LR
A[当前状态 S_t] --> B[在线网络 Q]
B --> C[选择下一状态的最优动作]
D[下一状态 S_{t+1}] --> B
D --> E[目标网络 Q']
C --> E
E --> F[给出该动作的价值]
F --> G[计算目标值并求损失]
G --> H[更新在线网络参数]
发展历程
1993 年，Thrun 与 Schwartz 最早研究了 Q 学习的高估问题，指出当动作价值带有随机误差时，目标值会被系统性地高估。2010 年，Hado van Hasselt 提出双 Q 学习，用两组独立的价值函数分别负责动作选择与价值评估，在表格型设定下缓解了这一问题[1]。
2013 年与 2015 年，Mnih 等人提出并完善了深度 Q 网络，将 Q 学习与卷积神经网络、经验回放和目标网络结合，使智能体可以直接从原始像素学习玩 Atari 2600 游戏[3]。
2016 年，Hado van Hasselt、Arthur Guez 和 David Silver 在美国人工智能协会年会上发表论文，指出深度 Q 网络在部分 Atari 游戏中存在明显的高估，并把双 Q 学习推广到大规模函数逼近场景，提出双深度 Q 网络[2]。该算法随后成为深度 Q 网络的常见改进组件，与优先级经验回放、竞争网络结构、多步学习、分布式 Q 学习和噪声网络等一起被整合进 Rainbow 智能体[3]。
此后，围绕双深度 Q 网络的后续研究进一步把它与其它机制结合，例如在 Atari 2600 游戏上用动态跳帧和改进的优先级经验回放来提升样本利用效率[5]。
应用
双深度 Q 网络及其变体被用于游戏智能控制等需要感知高维输入的决策任务。研究者以 Atari 2600 的多个游戏作为基准，比较不同深度强化学习算法的平均回合奖励与稳定性，双深度 Q 网络在这类基准上被反复用作对比基线[5]。
在机器人领域，有研究把竞争网络结构与双深度 Q 网络结合，构成竞争双深度 Q 网络，用于图书智能分拣系统中分拣车的路径规划，把路径规划建模为马尔可夫决策过程并设计状态、动作与奖励，仿真结果显示其规划的路径更短、碰撞率更低[6]。
在部分可观测环境下，有工作提出融合对比预测编码表示的双深度 Q 网络，通过对信念状态显式建模来获得紧凑的历史编码，并设计信念回放缓存与分段训练策略，在导航类任务上验证了策略学习的稳定性[7]。
双深度 Q 网络也被用于业务决策支持等仿真场景，在网络结构中与经验回放机制配合，利用目标网络评估、在线网络选动作的方式抑制价值高估，并考察累积奖励、平均奖励与折扣累积奖励等指标。
局限
双深度 Q 网络主要针对最大化算子带来的高估偏差，但并不能保证所有任务上都优于深度 Q 网络。相关研究指出，缺少理论或实验上的充分证明能说明它在大参数多数任务上都更好，只能说在某些任务上表现更佳，因此不宜把这一结论作普遍推广。
它的估计仍然是有偏的，而且有分析指出双深度 Q 网络被认为会倾向于低估价值；此外经验回放中的样本存在相关性，两次估计之间并非相互独立，这也削弱了双评估的独立性假设[8]。
算法本身仍受深度 Q 网络框架的其它限制影响，例如只在离散且规模有限的行动空间上直接适用，训练需要与环境交互大量样本，且要配合经验回放、目标网络等手段才能保持稳定[3]。
当价值估计建立在无法由策略类实现的动作选择上时，还会出现所谓的妄想偏差，使回传的价值估计与实际可达的策略不一致，从而影响最终策略质量[8]。
参见
参考资料
- Deep Reinforcement Learning with Double Q-Learning [引用日期2026-10-14]
- acm.org 上的网页 [引用日期2026-10-14]
- rainbow(PDF) [引用日期2026-10-14]
- 算法详情-人机对抗智能 [引用日期2026-10-14]
- 第42卷 第11期 [引用日期2026-10-14]
- 基于深度强化学习的图书分拣车的路径规划OA北大核心CSTPCD [引用日期2026-10-14]
- 融合对比预测编码的深度双Q网络OA [引用日期2026-10-14]
- Overestimation in Q-Learning [引用日期2026-10-14]