黑龙江分站
黑龙江分站
2017年5月25日，三番棋中以0:1落后的柯洁执白与AlphaGo再次对局，155手中盘告负。虽然第三局还要下(柯洁执白的请求得到同意)，但三番棋已经0:2告负。
但是本局令人激动，柯洁成功将棋局导向特别复杂混乱的局面。柯洁自己与不少职业解说都感觉有胜机了，棋迷们更是热血沸腾，希望看到战胜AlphaGo的**出现。虽然没有透露更多数据细节，哈萨比斯也两次发信息，说柯洁表现非常好，前面表现**，后面将AlphaGo逼到了极限。赛后发布会上，哈萨比斯说“***0手双方差距非常小”，从来没有其它棋手做到过这一点。这说明柯洁确实是人类*强棋手。
前两局中间的的研讨会上，Deepmind公布了AlphaGo的升级版本Master的一些研发思路，而且说在6月份会像上次的《自然》论文一样公布细节，帮助其它公司做出和Master一样强大的围棋AI。我根据这些信息，写了一些分析发给了应氏杯**唐韦星，希望对柯洁，以及唐韦星参加的对AlphaGo的五人相谈棋有帮助。唐韦星认为有道理，是要将局面导向复杂，但感觉很难做到。他将我们的对话公布在了微博上，柯洁也看到了，引发了热烈讨论。
由于之前Master的60局，它都能简单地控制局面，所以职业棋手们虽然知道不能这么简单地输，要制造复杂局面，但确实不知道怎么下才行。但是本局柯洁前半盘的**表现说明，这是可以做到的!100手之后，黑白双方一度有九块棋不安定，还有一个**大劫，即使与人类棋手的激烈对局相比，都算是很复杂的。
本文我先根据研讨会上Deepmind团队透露的信息，解释Master的技术秘密，为什么它居然能让李世石版本的AlphaGo三子。然后再介绍本局的精彩之处。
一.Master强大的秘密在于它是“复盘**”
其实Deepmind用策略与价值两个网络构造围棋AI，并让它不断自我对弈学习进步的思想，与人类高手群体下棋时的思维以及棋艺进步的过程是相通的。抛开计算机术语，AlphaGo的研发思路并不难理解。
人类高手下围棋时，脑子里更多是把整个棋盘当作一幅图像在进行“图像处理”，而不是象**象棋高手那样主要在逻辑推理。AlphaGo就引入在图像识别领域的神器“深度学习”，构造了“策略网络”来模仿人类高手看到棋局时的直觉选点。有了深度学习，这其实是很自然的一步。
人类高手还要进行局势评估，其实也是盯着棋局图像看。因此，同样做一个“价值网络”让AI可以直接对一个局面进行胜率评估，也容易理解。但这很有难度，因为训练策略网络时，一局棋机器可以学习上百手，但价值网络为了*立性，一局*好只学习一个局面。深度学习是需要上**个样本的，对策略网络人类高手下的十来万局棋足够了。Deepmind创新地让众多服务器**自我对弈生成了3000万棋局，用于价值网络的训练。这个**一开始难以想到，但有这个条件了，这么想也是自然的。腾讯开发绝艺时，也这么办了，机器自我对弈了30亿局。
有了策略与价值网络，再加上以前就有的蒙特卡洛搜索，机器就能以很高的水平下棋了。然后机器疯狂地自我对弈，产生棋局，用这些棋局回头去改善策略与价值网络，一代代循环改善，这就是“强化学习”。
但是按《自然》论文，AlphaGo自我对弈的训练框架其实是比较简单的。就是自我对弈出了结果，然后用这局的结果当一个数据项，回头修改策略与价值网络的系数。由于系数多达几百M，这种反复自我对弈来回改进需要很多局才告一段落出一个新版，一次需要一个月。
这有点象是人类高手在网上互相下。下完出了结果，有一方输了，然后就散伙走人了。输的人想，我换点着法吧，又去下，有进步觉得自己换对了，没进步就否了再想别的招算了。这输的人进步也就比较慢。
实际上人类高手是很崇尚复盘的，一般正式对局结束了不会立刻走人，而是细细总结下双方哪里下得不好，败招胜招都是些啥。有时复盘甚至会搞两三个小时，旁观的高手也来。有时人类高手还会搞“研究会”或者“国家队”，组团研究新型，研究“秘密武器”。如果棋手能积极参与这些复盘，或者有渠道了解到集体复盘得出的有价值信息，再去网上演练与实战对局，进步速度会比较快。
有时低手付*，或者和高手关系好，高手也会给低手复下盘。但由于低手基本是犯了些基本功之类的简单错误，这类复盘对高手意义不大。但是，高手们的对局是很有价值的。虽然为了后面的比赛说下完了要忘掉，那是说把结果忘掉，对局过程不能就忘掉，应该去好好研究总结这种双方拼脑子下出来的宝贵棋局。复盘是很关键的，对于人类高手群体一起进步作用是很大的。当初李昌镐保守避战拼官子的下法，让棋界很震惊。高手们集体研究，也慢慢知道了他的技术秘密，所有高手官子水平都有进步，不然就没法当高手了。
Master相比与李世石对战的AlphaGo，进步就在复盘这里。李世石版的AlphaGo后来自我对局提升，已经进入瓶颈了，下再多盘改进系数棋力也进步不大。Deepmind团队决定，推出新的架构升级成Master，将两个多层神经网络的层数从13增加到40，进行更有价值的“复盘学习”。
Master自我对弈学习的时候，就不是只用对局结果这个数据项了。它会回过头来，考察对局过程中每一步棋。两个程序自我对弈时，它每一步都是有由策略网络、价值网络、MCTS三者“*力全开”搜索后，再决定下哪一步，这一步往往和策略网络的第一直觉不一样。理论上来说，三者结合搜索出来的点，应该比一眼直觉出来的好。这时，就可以重新训练策略网络，让它第一直觉就落到那个点。一局棋，有上百步都可以这么做，策略网络美滋滋地吸收了一局棋的全部营养。
同样，价值网络会对一个局面直接计算出一个“直觉胜率”，但这个直觉未必正确。三结合的“*力全开”搜索会报告各选点*终的胜率，甚至可以输出给人作决策。5月26日古力与连笑各带一个AlphaGo对战，相信就是这样的，AlphaGo推荐多个选点，并报告每个点的胜率，人类高手参考作出*终决策。(注：今天古力与连笑的配对赛开战我才发现不是这样，是人与AlphaGo各自*立地下联棋，人和AlphaGo不商量)算法耗时很长算出的胜率，理论上应该比价值网络直接算出的胜率更准确，所以可以用这个胜率回头对价值网络系数进行修改。这同样可以一局进行上百次，而不是之前那样一局只能挑一个局面用于价值网络的训练。
这种对策略网络与价值网络直觉进行训练的办法其实很管用。柯洁从排名一百多飞速爬升到排名第一，主要就是刻苦进行了数千盘网络快棋对战。对战中柯洁积极把自己脑子里的“策略网络”与“价值网络”修改得越来越好，越来越能够第一直觉就下对、评估对。柯洁实战表现得思维敏捷、判断清楚，这可能就是柯洁强大的秘密。
而且这个框架就很自由了，自我对弈有了胜者败者，双方会有胜率曲线的变化。开始都是50左右，*后胜率是一方极高一方极低，这个变化是怎么产生的，有哪些是败招胜着是可以研究的。例如第一局柯洁执黑与AlphaGo下，后来说黑51手抱吃是败招，白54手是出乎意料的好手胜招，之后柯洁的胜率就不行了，这个局面值得高手们好好品味学习。但人类高手们自己下，其实也学不了多少这种高水平的好招，正式对局不能太密，一年80局就很多了。即使正式对局也不一定水平极高，可能是学习意义不大的中低级败招输掉的。象AlphaGo白54这种好招，不太容易碰到。
但是Master就不同了，它反正就整天不休息自己下，有AlphaGo战胜李世石那么高的水平对局质量很高。出了结果就复盘，一盘就能学到很多。每天复盘的，可能比人一辈子下的高水平棋局还多。所以Master学习速度极快，一周时间就能出一个新版。
人类高手虽然重视复盘，但其实也有麻烦。高手之前很容易意见不统一。围棋很复杂，局部定型以后，谁好谁坏很难说清楚。对局面理解有*到之处的孟泰龄就经常复盘时与人意见不一样，甚至吵起来。
