AlphaZero

关注
义项:DeepMind 的通用棋类 AI 程序
AlphaZero

AlphaZero是英国深度思维(DeepMind)公司开发的通用棋类人工智能程序,能在只给定规则、不输入任何人类棋谱或领域知识的情况下,通过自我对弈的强化学习从零开始学会下棋[1]。它同时掌握国际象棋、日本将棋和围棋三种棋类,并在数小时到数天的训练后分别战胜各自的世界冠军级程序[2]。其研究论文于2018年12月7日发表在《科学》杂志上[3]。

百科 图文
目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

AlphaZero是深度思维公司提出的一种通用棋类博弈程序,它把此前用于围棋的自我对弈强化学习方法推广到多种棋类上[4]。与传统的棋类引擎不同,该系统没有内置任何由人类棋手编写的评估规则或开局库,只被告知每种棋的基本规则,其余知识全部通过自己与自己对局获得[5]。按照研究者的表述,它是一个算法,而不是针对单一游戏定制的程序。

深度学习与强化学习的结合使这一程序在给定规则后能够自行发现高水平的下法[1]。

原理

AlphaZero用一个深度神经网络来表示棋局知识。网络以棋盘局面为输入,输出两部分结果:一是每个合法着法的概率分布,二是当前局面的期望胜负值[6]。可用如下形式表示:$(\mathbf{p},v)=f_\theta(s)$,其中 $s$ 为局面,$\mathbf{p}$ 为着法概率向量,$v$ 为期望结果估计值[6]。

在搜索环节,程序使用通用的蒙特卡洛树搜索算法,从根局面出发反复模拟对局并展开一棵不对称的搜索树,每次模拟依据访问次数、着法概率和局面估值选择分支[6]。搜索最后按根节点的访问次数给出着法分布,用于实际落子和训练[6]。

训练由自我对弈驱动。对局结束后按规则得到胜负结果 $z$,网络参数通过梯度下降更新,损失函数同时包含估值与真实结果的均方误差和搜索分布与网络输出分布之间的交叉熵[6]。


flowchart LR

A[当前局面 s] --> B[神经网络 f_theta]

B --> C[着法概率 p]

B --> D[期望结果 v]

C --> E[蒙特卡洛树搜索]

D --> E

E --> F[选择着法]

F --> G[自我对弈]

G --> H[按胜负结果更新参数]

H --> B

由于搜索由网络引导,程序考察的局面数量远少于传统引擎。国际象棋中它每秒搜索约6万个局面,而Stockfish约为6000万个[5]。

发展历程

AlphaZero的直接前身是2017年10月公布的AlphaGo Zero,后者已证明无需人类棋谱即可在围棋上达到超人水平[7]。2017年12月5日,深度思维团队公开了介绍AlphaZero的预印本论文,将这一方法推广到国际象棋和日本将棋[8]。

据该预印本披露,训练从随机初始化的参数开始,使用5000个第一代张量处理单元(TPU)生成自我对弈棋局,64个第二代张量处理单元训练神经网络,且不使用开局库和残局库;国际象棋、日本将棋和围棋使用相同的算法设置、网络架构与超参数[9]。

早期结果显示,训练4小时(30万步)即在国际象棋上超过Stockfish,不到2小时(11万步)在日本将棋上超过Elmo,8小时(16.5万步)在围棋上超过与李世石对弈的AlphaGo版本[9]。

论文随后经过评审,于2018年12月7日在《科学》杂志正式发表,作者为David Silver等人,同期还配发了评论文章[3]。深度思维在同期发布的博客中给出了完整评测数据:国际象棋中AlphaZero在1000局里赢155局、仅负6局;日本将棋中胜率为91.2%;围棋中对AlphaGo Zero的胜率为61%[5]。

在AlphaZero之后,团队于2019年提出MuZero,该算法在不知道游戏规则的情况下也能学会雅达利游戏和棋类游戏[8]。

应用

AlphaZero本身主要作为原理验证,用于说明单一算法可以从零开始学习多种复杂博弈[1]。其下棋风格被棋界研究,国际象棋特级大师Matthew Sadler和女子国际大师Natasha Regan分析了大量对局,认为它的风格不同于以往任何传统引擎[5]。

深度思维表示,AlphaZero的后续版本被用于发现更快的排序、哈希和矩阵乘法算法,这些算法已在世界范围内被频繁使用[1]。相关方法也被视为处理机器人、工业系统等规则未知的现实问题的铺垫[1]。

局限

AlphaZero论文的作者与评论者都指出,棋类只是原理验证,其方法并不能直接迁移到所有问题[2]。对于多人扑克、即时策略游戏等更复杂的博弈,这一技术尚无法直接适用[10]。

系统的训练依赖大量专用硬件。预印本中描述的训练使用了数千个张量处理单元并行运行[9]。同时,AlphaZero的设计面向图形处理器与张量处理单元,而作为对手的Stockfish针对中央处理器设计,无法利用这类硬件,两者的比较存在硬件层面的差异。

程序本身没有公开。据记载,AlphaZero的论文虽已正式发表,但该程序并未向公众提供[8]。此外,评测中AlphaZero在开局加入少量随机化以避免重复对局,这也带来了一些败局。

参见

  • 深度思维 —— 开发AlphaZero的人工智能研究机构。

  • AlphaGo —— 深度思维此前开发的围棋程序,是AlphaZero的技术前身。

  • 蒙特卡洛树搜索 —— AlphaZero用来选择着法的搜索算法。

  • 强化学习 —— AlphaZero通过自我对弈学习棋艺的训练框架。

  • MuZero —— 在AlphaZero基础上进一步发展的算法,无需预先知道游戏规则。

参考资料

  1. AlphaZero and MuZero [引用日期2026-10-14]
  2. eurekalert.org 上的网页 [引用日期2026-10-14]
  3. nih.gov 上的网页 [引用日期2026-10-14]
  4. ucl.ac.uk 上的网页 [引用日期2026-10-14]
  5. AlphaZero: Shedding new light on chess, shogi, and Go [引用日期2026-10-14]
  6. arxiv.org 上的网页 [引用日期2026-10-14]
  7. 再进化!“通用棋类AI”AlphaZero问世 [引用日期2026-10-14]
  8. AlphaZero [引用日期2026-10-14]
  9. bianyi_recordshow [引用日期2026-10-14]
  10. Science述评:谷歌AlphaZero横扫棋类AI,人工智能研究中重要篇章的“终结” [引用日期2026-10-14]
词条评价
词条统计

浏览次数:2 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-13T21:00:55Z

历史版本

本条目引用的词条
深度思维 强化学习 蒙特卡洛树搜索 AlphaGo MuZero