查看: 6926|回复: 74

No bot has ever done that in the history of Dota 2.

  [复制链接]

32

主题

505

帖子

1403

积分

精华
1
金币
12293 枚
荣誉
1188 点
超丸
0 颗
人气值
20
最后登录
2018-12-16
发表于 2018-8-7 08:24:20 | 显示全部楼层 |阅读模式
本帖最后由 wuzhengkai 于 2018-8-7 08:30 编辑

本文为原创,转载需经过作者同意,未经允许转载视为同意支付作者每字五毛报酬。

No one has ever done that in the history of dota 2.
这是一段很经典的解说,出自TobiWan,在一场NoTideHunter(由Lod[A],[A]s4,[A]dmiralBulldog,[A]kke,和中国人民的好朋友EternalEnvy组成的战队,之后他们踢掉了EE迎来了EGM,改名为[A]lliance,再之后的故事大家都知道了。)一级假装打Roshan通过Bulldog操作的先知自**来引诱对面来袭并成功拿下对面一二血的比赛中的惊呼,值得一提的是Ti3上A队对阵橘子时再次使用了假打肉山的战术并获得了成功。

而昨天在三藩市举行的OpenAI Five Benchmark活动中,五位解说/(前)职业选手在限制规则的比赛中迎战OpenAI的五个AI。在BO3的比赛中前两局惨遭Bot战队吊打,第三局依靠观众票选给Bot的阵容获得了胜利。可以说这是Bot战队之前从未做到的。

笔者在友人的帮助下有幸现场见证了这一历史*时刻。两年半以前,在与李世石的五番棋大战中 ,AlphaGo首次展现了Reinforcement Learning在游戏博弈上的威力。而这次OpenAI Five大破解说战队,则证明了RL在实时交互、决策连续化的游戏中也能有尚佳表现。尤其是之前有消息指出DeepMind团队尝试星际受阻的情况下,可谓是证明了Dota2这种高度技巧化的游戏,RL能够自行学xi出复杂的连续操作,甚至创造新的打法。关于这场比赛的经过和背景,不少文章已经描述了很多,本文主要从一个亲身参与者的视角谈谈感受和理解。

活动开始于PDT中午十二点,笔者十一点五十分来到现场周围,发现门口已经排起了不短的队伍。

这场对抗赛在一个酒吧里进行。进场后会派发两个充气的应援棒,上面分别写着Humans和OpenAI。在场地外面有几台电脑组成的观众挑战区。

亲身挑战

报名时笔者被分在了第三组,进场时第一组已经在游戏中了。他们迅速地被AI压制并且持续的死亡,劣势路斧王和中单影魔都阵亡了十余次。Bot战队在七八分钟就推上了高地,十三分钟就已经推平了三路。最终比分大约是二比五十几。
观众挑战的规则中,电脑使用固定阵容DP、潮汐、巫医、牛头和飞机。玩家可以随便选择英雄(可以和电脑相同)每局15分钟。
吸取了前面的教训笔者和几个临时组成的队友商量决定采用一些很偏前期的阵容。我们最终选择了Viper中单 NEC大哥 潮汐劣单 和 Lion、巫医双辅助。原因是这些英雄首先不容易死,相比于前面队伍有选择影魔、小鱼作为核心,这些英雄我们认为都过于脆弱。而我们双辅助有远程控制,这使我们更容易**人。从观察中我们发现电脑十分擅长于拉扯,使得他们能低血量逃生。而控多显然使得我们尽量避免他们逃生。(我们目标就是尽可能多拖一会,并且多**几个人。)
我们开局非常成功,我们选择了一级开雾,虽然雾开早了在刷符前几秒钟就没了。但我们还是通过五人抱团**死了企图吃上路符的牛头拿下了一血。解说战队直到第二局才领悟了这个打法,可以说我们是灵***表。
之后的对线阶段我们理所当然地被打**了,如同在之后的比赛中看到的那样,电脑打的非常具有压迫*,轮转极快。经常会三人四人突然压迫某条路越塔**人,并且电脑对于血量的计算和塔*恨的控制可以说臻于化境。最终我们还是无法阻挡电脑在十分钟左右推上我们高地,尽管此时我方潮汐也有大招,但电脑的反应足以同时踩出潮汐大,并且利用短暂的眩晕时间差将我方辅助全部击**。最终在十二分钟左右电脑推上第二路高地时我们被叫停,估计是为了让更多的玩家体验。最终比分大约是4比20,我们达成了目标。
笔者操刀了巫医,因为大概是队伍里天梯分最低的玩家(我并不打天梯)。值得一提的是笔者选的电脑似乎有一些问题,鼠标不灵敏,更要命的是显示器经常发生连接松动导致黑屏。在这样的情况下笔者仍然取得了1/5/3的数据,相信如果不是设备问题笔者一定能大**四方挽救人类尊严。不管怎么说在初见中就拿下Bot战队一血,可以说不丢人,以后OpenAI吊打Ti冠军时可以拿出来吹一辈子。

BO3大战
比赛的过程很多文章已经总结了。但笔者此处要说一句很多文章作者要么不懂Dota要么不懂AI。第一局的人类方阵容显然是被Bot给**了。面对lich+lion+飞机大招+DP的法术**发,剃刀和NEC根本无法抗衡,这两个英雄都是需要在团战中持续生存才能跟团队带来增益的英雄。而面对对面的法术**发,在BKB前完全活不过第一波。这也是为什么BP之后OpenAI就为自己给出了95%的胜率。
第二局人类方阵容要好一些,但是团战仍然过度依赖牛头的先手,以及DP和牛头的两个大招,WD和隐刺的辅助组合对比敌方冰女、Lion和Lich的三人组合显然过于弱势了。
笔者觉得很有意思的点:
1、比赛中前两局的Bot可以说是团战无双。其团战拉扯行云流水,经常能看到Bot在还剩两位数生命的情况下tp逃生。笔者认为这点是可以预计到的。伟大的峰哥曾经说过,高分玩家和普通玩家最大的区别就是对于伤害/承受伤害的计算。而这种计算无疑是电脑更为擅长的。指向*和一次伤害型技能要更容易计算,而在复杂团战中,AOE技能、概率类技能同时存在,即使职业选手往往也无法准确估计某个英雄所能造成和承受的伤害量。而OpenAI的Agents在每天几百万的自我对局的训练下,其对于团战中伤害量的计算应该极为准确。而其团战无双尤其是残血逃生的能力无疑证明了这一点。值得一提的是,Bot的计算也是有失误的,在笔者围观第一批观众和Bot对战时,在下路一波1v1中,电脑的六级牛头试图单**四级的飞机,虽然其三连释放完美,但是并没有注意到飞机有十格魔棒存在,飞机成功逃生。从中可以看出由于游戏过于复杂,参数繁多,电脑的伤害计算也并没有达到完美的程度(假设存在Dota之神的话)。

2、Bot打法极其凶悍,在对线期甚至会放弃自己本来在的分路而进行三人甚至四人冲塔。有一些人质疑解说战队是不是在演戏,这种情况下都不tp支援。笔者认为这种质疑是十分可笑的。因为这种前期的四人冲塔,如果仅仅击**了一个英雄并不赚。我们仔细观察可以发现Bot的纯补刀并不占优,中路火**对影魔本身是劣势对线,虽然火**补刀没有被影魔拉下太多,但这是依靠不断地运送大药来实现的,实际上经济落后很多。从团队经济的角度我们也可以发现,虽然经常Bot在十**时往往有十个人头的优势,但此时团队经济仍然十分接近。而在当前强调线优的版本下,如果两个职业队打出了这种比分,那么优势一方往往已经有了三四千的经济优势了。我个人猜测是因为Bot本身对于补刀并不特别在行(或者是因为分路对线的原因自觉不敌),采取了通过**人来弥补自己补刀上面的差距。而此时如果仅一到两人tp支援并不解决问题,局部人数仍是劣势,而这种小规模技能衔接与分摊防御塔*恨反而是Bot的强项。所以笔者认为解说战队的决策并无太大问题。而OpenAI的这种极具攻击*的打法有点类似于VP和TNC,前期频繁的小规模战斗和冲塔,但时间点甚至要来的更早。
3、第二局中Bot战队的飞机发挥非常亮眼。由于选出了三辅助阵容,外加中路是个前期只有霰*的火**,OpenAI在十分钟的节点上打的并不理想,甚至差点崩盘。但关键时刻无解肥的飞机站了出来,可谓是无处不在,盘活了三路,而经济也保持全场领先。笔者甚至认为OpenAI的打法就是完全体形态的VGJ.T,中路刘畅火**往地上一躺,赛老师带双辅助打活三路,取得优势后祭出Rotk绝学抱团中推。
4、第一局**现了争议比较大的画面。牛头跳刀第一波在放出沟壑后跳入人群却被Lion秒羊,引发了人们对于Bot是不是脚本狗的质疑。(废话)然而之后细心的reddit观众通过逐帧分析比赛视频发现Lion的反应时间为216ms。当事人牛头的操作者Fogged也发帖表示自己并没有使用跳shift大的操作,从而给Lion可乘之机。而这一操作人类玩家也是可以通过快速施法提前对大哥附近的地面释放羊来进行,这样在牛头跳入大哥身边时牛头就会被秒羊。比赛中我们也经常可以看到Fy、Yapzor操刀拉比克秒举对面的先手英雄。

赛后讨论
赛后进行了问答环节。遗憾的是笔者在排队过程中因为时间原因队伍恰好在笔者前面被截断了。不过在活动结束后和OpenAI员工交流过程中还是解答了笔者的疑问,不过你们就无法在直播中看到笔者帅气的脸庞了。(雾)

应该是绝大多数问题问的都很有水准,下面节选几个笔者还记得的问题和之后的讨论内容:
1、首先还是关于目前的限制,为什么会有这些限制?有没有去除的计划?
目前的大多数限制还是为了减少决策的数量,从而减少参数的个数,使得模型更容易训练。OpenAI目前也在尝试去除还剩的限制。笔者认为目前最亟待去除的限制就是信使,五个信使使得比赛类似快速模式。我们可以发现比赛中Bot的信使是几乎不断的,源源不断地运送小蓝、大药等补给品。而这极大地改变了比赛策略,使得Bot可以用补给来换补刀而不影响其他路。或者不需要回家补给来更有效地gank,这与真实的比赛差别巨大。另一点就是英雄池,现在的18个英雄几乎都是团战或者gank型的英雄,而笔者认为一旦加入光法这种强大的守塔AOE,或者德鲁伊这种具有单人推塔能力的英雄,对于OpenAI这种需要五人抱团中推的打法会有极大的冲击。不过实际上在第三局中,面对阵容和局势的巨大劣势,OpenAI效仿A队和液体玩起了带球,而且不仅仅是纯粹的带球,他们在人类破掉一路后的懈怠期组织了多波gank并成功地击**了关键英雄,假设阵容没有这么烂的话很可能就翻盘了(这局不到大后期出到否决是完全处理不了这个Nec的)。我对于OpenAI能够掌握多种打法很有信心。
2、笔者问的问题是,笔者发现当天比的其实是一个老版本(应该是7.15),飞机天赋还是+3高射火炮。笔者询问了版本更新是否会有影响,直接把老模型带入新版本会不会有损失。OpenAI表示其实版本更新并没有什么变化,他们会在训练过程中自然地把老版本换为新版本。带来更大影响的往往是版本更新后Valve对于游戏一些API的变化,这会导致OpenAI的训练系统崩溃(干tmd的赖皮社)。而老版本的Agent在新版本表现几乎没有下降,这也说明了OpenAI的模型已经掌握了一些Dota2的机制*内容,会根据版本变化(很多技能伤害体现在输入参数上)做出变化。而不像创意工坊中的Bot或者教程里的出装一样需要人工根据版本变化调整。
3、关于团队配合。在六月OpenAI发的博客中就已经提到,比赛中的五个Bot是同时跑了五个OpenAI的Agent,他们之间完全没用沟通。只有一个参数团队精神来控制每个Agent的Rewards函数,为0时完全不考虑队友的情况,为1时则会把队友的血量、等级、经济等放在和自己等同的情况下考虑。网上有人评论是因为Bot之间的协作机制导致他们的配合完美,这个说法是完全不正确的。团战中的配合是Bot根据自己的模型做出的决策来组成的,也就是说五个Bot相当于游戏认识、技术水平一样的五个人在打,之间没有沟通(视野是共享的),但目的非常纯粹,不会互相甩锅。
4、关于一些奇怪的行为。可以看到比赛中Bot有很多奇怪的行为,比如说原地插多个眼,在奇怪的位置插眼,对面塔下开雾等等。OpenAI的员工承认很多都是Bug,在今天OpenAI刚刚更新的一个视频中,展示了更多他们训练过程中发现的Bug。
5、为什么选择Dota2?在围棋被AlphaGo解决,AtariGames也被RL解决后,研究者们想要看看RL是不是在实时交互的对抗*游戏中也能够成功。选择Dota2,首先因为Dota2影响力很大,历史从Dota1开始算十分悠久,奖金世界第一,而且是公认最复杂的Moba游戏。其次是Dota2具有开放的API,其他主要的Moba游戏对于录像、第三方数据和Bot的接口支持没有甚至很差。而Dota2一直以来就推动开放的数据接口(比如DotaBuff这样的网站)和使用Lua语言的Bot API(创意工坊上就有不少有趣的Bot),这给OpenAI的开发带来了极大的便利。

未来展望

就在笔者撰写这篇文章时,OpenAI发表了最新的博客,分析了这场表演赛。并且发布了若干段视频来说明OpenAI对于自己Bot行为的诠释和展望,其中一段冰女的逃生可以说是秀翻全场。并且在文末宣布将在Ti8上与职业战队对阵。笔者十分期待OpenAI能够在这短暂的两周多时间内去除信使这样的关键限制,在Ti8上用最接近现在CW规则的模式战胜职业战队!

帖子里几张图可以点击:https://mp.weixin.qq.com/s?__biz ... 2c4f28df754111d0#rd 看到。

另外打个广告:678746929,硬盒Dota2和Artifact讨论群

多选投票: ( 最多可选 6 项 ), 共有 146 人参与投票

投票已经结束

2.30% (4)
2.30% (4)
4.02% (7)
3.45% (6)
6.90% (12)
81.03% (141)
您所在的用户组没有投票权限

点评

技术部荣耀  发表于 2018-8-11 13:18
技术部荣耀  发表于 2018-8-7 12:35
既然亲自去了现场 想必也是个萨特吧  发表于 2018-8-7 12:32
技术部荣耀  发表于 2018-8-7 10:38
技术部荣耀  发表于 2018-8-7 10:05

评分

参与人数 1金币 +1000 收起 理由
mycNo2 + 1000

查看全部评分

赞VS踩     

回复

使用道具 举报

881

主题

2万

帖子

2万

积分

精华
0
金币
12440 枚
荣誉
27318 点
超丸
0 颗
人气值
65
最后登录
2018-12-18

巴塞罗那 狗头党VGEEsamaRTZ萝莉控1经典巴萨LGDPSG.LGDnewbee

发表于 2018-8-7 08:25:10 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
[发帖际遇]: 风紧扯呼 为了成为暖屌猫,自费 4 枚 金币 做了阉割手术. 幸运榜 / 衰神榜
回复

使用道具 举报

1

主题

164

帖子

387

积分

精华
0
金币
2141 枚
荣誉
371 点
超丸
0 颗
人气值
0
最后登录
2018-12-18
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

头像被屏蔽

28

主题

6153

帖子

5985

积分

精华
0
金币
2535 枚
荣誉
7668 点
超丸
0 颗
人气值
0
最后登录
2018-12-11

佛罗伦萨

发表于 2018-8-7 08:34:00 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

69

主题

1万

帖子

7725

积分

精华
0
金币
6811 枚
荣誉
10745 点
超丸
0 颗
人气值
0
最后登录
2018-12-19

Invictus GamingnewbeeVGJ.TPSG.LGD

发表于 2018-8-7 08:35:27 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

2574

主题

4万

帖子

3万

积分

精华
0
金币
2705 枚
荣誉
45362 点
超丸
0 颗
人气值
5
最后登录
2018-12-18

超级玩家Team DKEEsamaLGD狗头党PSG.LGD

发表于 2018-8-7 08:36:08 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

580

主题

6910

帖子

7254

积分

精华
0
金币
2863 枚
荣誉
8556 点
超丸
0 颗
人气值
58
最后登录
2018-12-19

祈求者狗头党EEsamaDOTA2 Invictus Gaming

完全体vgj还行
回复

使用道具 举报

327

主题

5535

帖子

4795

积分

精华
0
金币
7045 枚
荣誉
6038 点
超丸
0 颗
人气值
0
最后登录
2018-11-7

EEsamaPSG.LGD

发表于 2018-8-7 08:41:03 | 显示全部楼层
未经允许转载视为同意支付作者每字五毛报酬
回复

使用道具 举报

63

主题

2779

帖子

2535

积分

精华
0
金币
2104 枚
荣誉
3236 点
超丸
0 颗
人气值
1
最后登录
2018-12-1

EEsama狗头党

发表于 2018-8-7 08:41:53 | 显示全部楼层
未经允许转载视为同意支付作者每字五毛报酬。
回复

使用道具 举报

566

主题

7694

帖子

7262

积分

精华
0
金币
3192 枚
荣誉
8804 点
超丸
0 颗
人气值
1
最后登录
2018-12-18

傲娇娘控狗头党

Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

40

主题

8220

帖子

6313

积分

精华
0
金币
21784 枚
荣誉
8820 点
超丸
0 颗
人气值
12
最后登录
2018-12-19
未经允许转载视为同意支付作者每字五毛报酬。
回复

使用道具 举报

480

主题

1万

帖子

1万

积分

精华
0
金币
7749 枚
荣誉
22023 点
超丸
0 颗
人气值
12
最后登录
2018-12-19

情人节绝版勋章EEsamaLGDPSG.LGD

发表于 2018-8-7 08:45:38 | 显示全部楼层
可以可以
[发帖际遇]: ytxlct 残血跑进河道吃符淹死,损失 4 枚 金币. 幸运榜 / 衰神榜
回复

使用道具 举报

536

主题

1万

帖子

1万

积分

精华
0
金币
9184 枚
荣誉
13404 点
超丸
0 颗
人气值
46
最后登录
2018-12-19

我爱养猫(灰)沉默术士狗头党大杂烩 wings

发表于 2018-8-7 08:46:45 | 显示全部楼层
经允许转载视为同意支付作者每字五毛报酬
回复

使用道具 举报

21

主题

3384

帖子

3483

积分

精华
0
金币
6710 枚
荣誉
4287 点
超丸
0 颗
人气值
0
最后登录
2018-12-18
发表于 2018-8-7 08:50:12 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

51

主题

9114

帖子

7051

积分

精华
0
金币
5301 枚
荣誉
9837 点
超丸
0 颗
人气值
0
最后登录
2018-12-18

EEsama风行者超级玩家

发表于 2018-8-7 08:51:48 | 显示全部楼层
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

7

主题

1万

帖子

1万

积分

精华
0
金币
-60 枚
荣誉
14007 点
超丸
0 颗
人气值
1
最后登录
2018-9-14
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

655

主题

1万

帖子

1万

积分

精华
0
金币
12093 枚
荣誉
16184 点
超丸
0 颗
人气值
0
最后登录
2018-12-18

EEsamaPSG.LGD

Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

160

主题

4019

帖子

4569

积分

精华
0
金币
10587 枚
荣誉
5262 点
超丸
0 颗
人气值
25
最后登录
2018-12-19

受折磨的灵魂

让人很激动!
回复

使用道具 举报

7

主题

3033

帖子

2385

积分

精华
0
金币
5468 枚
荣誉
3302 点
超丸
0 颗
人气值
0
最后登录
2018-12-19
Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

837

主题

9141

帖子

8713

积分

精华
0
金币
27135 枚
荣誉
11525 点
超丸
0 颗
人气值
0
最后登录
2018-12-18

十周年Ehome

Ti8决赛后LGD输给OpenAI无缘奖金 G胖*笑
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|超级玩家官方论坛 ( 鄂ICP备14003129号-3 鄂公网安备 42018502000138号  

GMT+8, 2018-12-19 06:10 , Processed in 0.091198 second(s), Total 42, Slave 3 queries , Memcache On.

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表