No bot has ever done that in the history of Dota 2.

wuzhengkai · 发表于 2018-8-7 08:24:20

本帖最后由 wuzhengkai 于 2018-8-7 08:30 编辑

本文为原创，转载需经过作者同意，未经允许转载视为同意支付作者每字*报酬。

No one has ever done that in the history of dota 2.

这是一段很经典的解说，出自TobiWan，在一场NoTideHunter（由Lod[A]，[A]s4，[A]dmiralBulldog，[A]kke，和中国人民的好朋友EternalEnvy组成的战队，之后他们踢掉了*迎来了EGM，改名为[A]lliance，再之后的故事大家都知道了。）一级*打Roshan通过Bulldog*作的先知自**来*对面来袭并成功拿下对面一二血的比赛中的惊呼，值得一提的是Ti3上A队对阵橘子时再次使用了假打肉山的战术并*了成功。

而昨天在三藩市举行的OpenAI Five Benchmark活动中，五位解说/（前）职业选手在*规则的比赛中迎战OpenAI的五个AI。在*3的比赛中前两局惨遭Bot战队*打，第三局依靠观众票选给Bot的阵容*了胜利。可以说这是Bot战队之前从未做到的。

笔者在友人的帮助下有幸现场见证了这一历史*时刻。两年半以前，在与*世石的五番棋大战中，AlphaGo首次展现了Reinforcement Learning在游戏博弈上的威力。而这次OpenAI Five大破解说战队，则证明了RL在实时交互、决策连续化的游戏中也能有尚佳*。尤其是之前有消息指出D*pMind团队尝试星际受阻的情况下，可谓是证明了Dota2这种高度*化的游戏，RL能够自行学xi出复杂的连续*作，甚至创造新的打法。关于这场比赛的经过和背景，不少文章已经描述了很多，本文主要从一个*身参与者的视角谈谈感受和理解。

活动开始于PDT中午十二点，笔者十一点五十分来到现场周围，发现门口已经排起了不短的队伍。

这场对抗赛在一个酒吧里进行。进场后会派发两个充气的应援*，上面分别写着Humans和OpenAI。在场地外面有几台电脑组成的观众挑战区。

*身挑战

报名时笔者被分在了第三组，进场时第一组已经在游戏中了。他们迅速地被AI压制并且*的*，劣势路斧王和*影魔都阵亡了十余次。Bot战队在七八分钟就推上了高地，十三分钟就已经推平了三路。最终比分大约是二比五十几。

观众挑战的规则中，电脑使用固定阵容DP、潮汐、巫医、牛头和飞机。玩家可以随便选择英雄（可以和电脑相同）每局15分钟。

*取了前面的教训笔者和几个临时组成的队友商量决定采用一些很偏前期的阵容。我们最终选择了Viper* NEC* 潮汐劣单和 Lion、巫医双辅助。原因是这些英雄首先不容易死，相比于前面队伍有选择影魔、小鱼作为核心，这些英雄我们认为都过于脆弱。而我们双辅助有远程控制，这使我们更容易**人。从观察中我们发现电脑十分*于拉扯，使得他们能低血量逃生。而控多显然使得我们尽量避免他们逃生。（我们目标就是尽可能多拖一会，并且多**几个人。）

我们开局非常成功，我们选择了一级开雾，虽然雾开早了在刷符前几秒钟就没了。但我们还是通过五人抱团**死了企图吃上路符的牛头拿下了一血。解说战队直到第二局才领悟了这个打法，可以说我们是灵***表。

之后的对线阶段我们理所当然地***了，如同在之后的比赛中看到的那样，电脑打的非常具有**，轮转极快。经常会三人四人突然*某条路越塔**人，并且电脑对于血量的计算和塔仇恨的控制可以说臻于化境。最终我们还是无法阻挡电脑在十分钟左右推上我们高地，尽管此时我方潮汐也有大招，但电脑的反应足以同时踩出潮汐大，并且利用短暂的眩晕时间差将我方辅助全部击**。最终在十二分钟左右电脑推上第二路高地时我们被叫停，估计是为了让更多的玩家*。最终比分大约是4比20，我们达成了目标。

笔者*刀了巫医，因为大概是队伍里天梯分最低的玩家（我并不打天梯）。值得一提的是笔者选的电脑似乎有一些问题，鼠标不灵敏，更要命的是显示器经常发生连接松动*黑屏。在这样的情况下笔者仍然取得了1/5/3的数据，相信如果不是设备问题笔者一定能大**四方挽救人类尊严。不管怎么说在初见中就拿下Bot战队一血，可以说不丢人，以后OpenAI*打Ti冠军时可以拿出来吹一辈子。

*3大战

比赛的*很多文章已经总结了。但笔者此处要说一句很多文章作者要么不懂Dota要么不懂AI。第一局的人类方阵容显然是被Bot给**了。面对lich+lion+飞机大招+DP的法术**发，剃刀和NEC根本无法抗衡，这两个英雄都是需要在团战中*生存才能跟团队带来增益的英雄。而面对对面的法术**发，在BKB前完全活不过第一波。这也是为什么BP之后OpenAI就为自己给出了95%的胜率。

第二局人类方阵容要好一些，但是团战仍然*依赖牛头的先手，以及DP和牛头的两个大招，WD和隐刺的辅助组合对比敌方冰女、Lion和Lich的三人组合显然过于弱势了。

笔者觉得很有意思的点：

1、比赛中前两局的Bot可以说是团战无双。其团战拉扯行云*水，经常能看到Bot在还剩两位数生命的情况下tp逃生。笔者认为这点是可以预计到的。伟大的峰哥曾经说过，高分玩家和普通玩家最大的区别就是对于伤害/承受伤害的计算。而这种计算无疑是电脑更为*的。指向*和一次伤害型技能要更容易计算，而在复杂团战中，AOE技能、概率类技能同时存在，即使职业选手往往也无法准确估计某个英雄所能造成和承受的伤害量。而OpenAI的Agents在每天几百万的自我对局的训练下，其对于团战中伤害量的计算应该极为准确。而其团战无双尤其是残血逃生的能力无疑证明了这一点。值得一提的是，Bot的计算也是有失误的，在笔者围观第一批观众和Bot对战时，在下路一波1v1中，电脑的六级牛头试图单**四级的飞机，虽然其三连释放完美，但是并没有注意到飞机有十格魔*存在，飞机成功逃生。从中可以看出由于游戏过于复杂，参数繁多，电脑的伤害计算也并没有达到完美的程度（假设存在Dota之神的话）。

2、Bot打法极其凶悍，在对线期甚至会放弃自己本来在的分路而进行三人甚至四人冲塔。有一些人质疑解说战队是不是在演戏，这种情况下都不tp支援。笔者认为这种质疑是十分可笑的。因为这种前期的四人冲塔，如果仅仅击**了一个英雄并不赚。我们仔细观察可以发现Bot的纯补刀并不占优，中路火**对影魔本身是劣势对线，虽然火**补刀没有被影魔拉下太多，但这是依靠不断地运送大药来实现的，实际上经济落后很多。从团队经济的角度我们也可以发现，虽然经常Bot在十**时往往有十个人头的优势，但此时团队经济仍然十分接近。而在当前强调线优的版本下，如果两个职业队打出了这种比分，那么优势一方往往已经有了三四千的经济优势了。我个人猜测是因为Bot本身对于补刀并不特别在行（或者是因为分路对线的原因自觉不敌），采取了通过**人来弥补自己补刀上面的差距。而此时如果仅一到两人tp支援并不解决问题，局部人数仍是劣势，而这种小规模技能衔接与分摊防御塔仇恨反而是Bot的强项。所以笔者认为解说战队的决策并无太大问题。而OpenAI的这种极具攻击*的打法有点类似于VP和TNC，前期*的小规模战斗和冲塔，但时间点甚至要来的更早。

3、第二局中Bot战队的飞机发挥非常亮眼。由于选出了三辅助阵容，外加中路是个前期只有霰弹的火**，OpenAI在十分钟的节点上打的并不*，甚至差点崩盘。但关键时刻无解肥的飞机站了出来，可谓是无处不在，盘活了三路，而经济也*全场领先。笔者甚至认为OpenAI的打法就是完全体形态的VGJ.T，中路刘畅火**往地上一躺，赛*带双辅助打活三路，取得优势后祭出Rotk绝学抱团中推。

4、第一局**现了争议比较大的画面。牛头*第一波在放出沟壑后跳入人*却被Lion秒羊，引发了人们对于Bot是不是脚本狗的质疑。（废话）然而之后细心的reddit观众通过逐帧分析比赛视频发现Lion的反应时间为216ms。当事人牛头的*作者Fogged也发帖表示自己并没有使用跳shift大的*作，从而给Lion可乘之机。而这一*作人类玩家也是可以通过快速施法提前对*附近的地面释放羊来进行，这样在牛头跳入*身边时牛头就会被秒羊。比赛中我们也经常可以看到Fy、Yapzor*刀拉比克秒举对面的先手英雄。

赛后讨论

赛后进行了问答环节。遗憾的是笔者在排队*中因为时间原因队伍恰好在笔者前面被截断了。不过在活动结束后和OpenAI员工交**中还是解答了笔者的疑问，不过你们就无法在直播中看到笔者帅气的脸庞了。（雾）

应该是绝大多数问题问的都很有水准，下面节选几个笔者还记得的问题和之后的讨论内容：

1、首先还是关于目前的*，为什么会有这些*？有没有去除的计划？

目前的大多数*还是为了*决策的数量，从而*参数的个数，使得模型更容易训练。OpenAI目前也在尝试去除还剩的*。笔者认为目前最亟待去除的*就是信使，五个信使使得比赛类似快速*。我们可以发现比赛中Bot的信使是几乎不断的，源源不断地运送小蓝、大药等补给品。而这极大地改变了比赛策略，使得Bot可以用补给来换补刀而不影响其他路。或者不需要回家补给来更有效地gank，这与真实的比赛差别巨大。另一点就是英雄池，现在的18个英雄几乎都是团战或者gank型的英雄，而笔者认为一旦加入光法这种强大的守塔AOE，或者德鲁伊这种具有单人推塔能力的英雄，对于OpenAI这种需要五人抱团中推的打*有极大的冲击。不过实际上在第三局中，面对阵容和局势的巨大劣势，OpenAI效仿A队和*玩起了带球，而且不仅仅是纯粹的带球，他们在人类破掉一路后的懈怠期组织了多波gank并成功地击**了关键英雄，假设阵容没有这么烂的话很可能就翻盘了（这局不到大后期出到否决是完全处理不了这个Nec的）。我对于OpenAI能够*多种打法很有信心。

2、笔者问的问题是，笔者发现当天比的其实是一个老版本（应该是7.15），飞机天赋还是+3高*火炮。笔者询问了版本更新是否会有影响，直接把老模型带入新版本会不会有损失。OpenAI表示其实版本更新并没有什么变化，他们会在训练*中自然地把老版本换为新版本。带来更大影响的往往是版本更新后Valve对于游戏一些API的变化，这会*OpenAI的训练系统崩溃（*的赖皮社）。而老版本的Agent在新版本*几乎没有下降，这也说明了OpenAI的模型已经*了一些Dota2的机制*内容，会根据版本变化（很多技能伤害体现在输入参数上）做出变化。而不像创意工坊中的Bot或者教程里的出装一样需要人工根据版本变化*。

3、关于团队配合。在六月OpenAI发的博客中就已经提到，比赛中的五个Bot是同时跑了五个OpenAI的Agent，他们之间完全没用沟通。只有一个参数团队精神来控制每个Agent的Rewards函数，为0时完全不考虑队友的情况，为1时则会把队友的血量、等级、经济等*和自己等同的情况下考虑。网上有人评论是因为Bot之间的协作机制*他们的配合完美，这个说法是完全不正确的。团战中的配合是Bot根据自己的模型做出的决策来组成的，也就是说五个Bot相当于游戏认识、技术水平一样的五个人在打，之间没有沟通（视野是共享的），但目的非常纯粹，不会互相甩锅。

4、关于一些奇怪的行为。可以看到比赛中Bot有很多奇怪的行为，比如说原地*多个眼，在奇怪的位置*眼，对面塔下开雾等等。OpenAI的员工承认很多都是Bug，在今天OpenAI刚刚更新的一个视频中，展示了更多他们训练*中发现的Bug。

5、为什么选择Dota2？在围棋被AlphaGo解决，Ata*Games也被RL解决后，研究者们想要看看RL是不是在实时交互的对抗*游戏中也能够成功。选择Dota2，首先因为Dota2影响力很大，历史从Dota1开始算十分悠久，*金世界第一，而且是公认最复杂的Moba游戏。其次是Dota2具有开放的API，其他主要的Moba游戏对于录像、第三方数据和Bot的接口支持没有甚至很差。而Dota2一直以来就推动开放的数据接口（比如DotaBuff这样的网站）和使用Lua语言的Bot API（创意工坊上就有不少有趣的Bot），这给OpenAI的*带来了极大的便利。

*展望

就在笔者撰写这篇文章时，OpenAI发表了最新的博客，分析了这场表演赛。并且发布了若*段视频来说明OpenAI对于自己Bot行为的诠释和展望，其中一段冰女的逃生可以说是秀翻全场。并且在文末宣布将在Ti8上与职业战队对阵。笔者十分期待OpenAI能够在这短暂的两周多时间内去除信使这样的关键*，在Ti8上用最接近现在CW规则的*战胜职业战队！

帖子里几张图可以点击：https://mp.weixin.qq.com/s?__biz ... 2c4f28df754111d0#rd 看到。

另外打个广告：678746929，硬盒Dota2和Artifact讨论*