【可以自学成才的AlphaGo Zero】

本周Deepmind在《自然》发表的一篇论文Mastering the game of Go without
human knowledge，一款新版的AlphaGo计算机程序能够从空白状态起，在不需要任何人类输入的条件下，迅速自学围棋。这款新程序名叫AlphaGo Zero，以100比0的战绩打败了它的前任（在2016年3月的锦标赛中，其前任打败了围棋冠军Lee Sedol）。

人工智能的最大挑战是研发一种能从零开始、以超人类的水平学习复杂概念的算法。为了打败人类围棋世界冠军，科学家在训练上一款AlphaGo时，同时用到了监督式学习（基于上百万种人类专业选手的下棋步骤）和基于自我对弈的强化学习。那款AlphaGo的训练过程长达几个月，用到多台机器和48个TPU（神经网络训练所需的专业芯片）。

本文中，David Silver, Julian Schrittwieser, Karen Simonyan, Demis Hassabis和同事介绍了AlphaGo Zero，它的学习从零开始，且单纯基于与自己的对弈。人类的输入仅限于棋盘和棋子，没有任何人类数据。AlphaGo Zero仅用到一张神经网络，这张网络经过训练，专门预测程序自身的棋步和棋局的赢家，在每次自我对弈中进步。新程序只使用一台机器和4个TPU。

通过几天的训练——包括近500万局自我对弈——AlphaGo Zero便能够超越人类并打败所有之前的AlphaGo版本。随着程序训练的进行，它独立发现了人类用几千年才总结出来的围棋规则，还建立了新的战略，为这个古老的游戏带来新见解。论文链接：O网页链接 LNature自然科研的秒拍视频收起全文d