腾讯AILab与王者荣耀联合研发的策略协作型AI
腾讯AI Lab与王者荣耀联合研发的战略协同AI《绝物》首次大规模向公众开放：5月1日至4日，玩家可从入口进入“挑战绝物”测试王者荣耀大厅。 “六个关卡的能力会不断提升，用户可以组队挑战《绝物》。这并不是腾讯AI Lab第一次亮手。比如去年的《中信证券淮》世界智能围棋公开赛冠军来自腾讯AI实验室的“绝活”。
此次《王者荣耀》推出的《绝物》确实让人大开眼界。 作为一名经验丰富的玩家，笔者认为自己的MOBA游戏水平相当不错。 然而，亲自测试了几款游戏后，时罗却无法与路人匹配。 通过第三关。 《绝物》的1v1版本此前曾于2019年在China Joy开赛，在与顶级业余选手的2100多场比赛中，AI胜率高达99.8%。 这是《决武》5v5版本首次公开。 如果未来AFK的队友能够用《绝悟》来主持比赛，那么估计以后匹配到断线玩家的队伍都会笑出声来。
如何通过“觉悟”来“悟”？
在柯洁等人类顶尖棋手相继被击败后，人工智能解决了围棋问题。 大型多人在线战术竞技游戏（MOBA）成为尖端人工智能复杂决策、行动、协作和预测的检验和验证。 能力的重要平台。
例如，去年DOTA顶级赛事TI8上，在一场DOTA2对阵世界冠军OG战队的比赛中，AI战队以2:0战胜了人类冠军。 虽然笔者认为OG在TI8的胜利并不是很有说服力。 去年的LGD比OG更出色，但AI在两场比赛中完成了战斗，尤其是在15分钟的第二场比赛中，展现了强大的碾压能力。 人们惊叹不已。
不过MOBA游戏的AI模型有限制，人类玩家不可以选择幻影矛兵、分身斧头等幻影、分身道具。 王者荣耀游戏虽然不涉及这样的情况，但是和棋类游戏类似。 与MOBA游戏相比，AI模型至少在以下几个方面是完全不同的。
1. 复杂性：
王者荣耀正常游戏时间在20分钟左右，一局游戏帧数在2万帧左右。 在每一帧中，玩家有数十个选项可供选择，包括具有 24 个方向的移动按钮，以及多个具有相应释放位置/方向的技能按钮。 国王峡谷地图的分辨率为130,000×130,000像素，每个单元的直径为1,000。 在每一帧，每个单位可能有不同的状态，例如健康、等级、金币。 同样，状态空间的大小为 10^20,000，其决策点比棋盘游戏还要大。
2、信息不对称：
MOBA游戏一般都有一定的视野范围，这就造成了信息对称，这意味着AI无法像棋牌游戏那样获取所有的游戏信息。
3、团队合作：一般来说，《王者荣耀》等MOBA游戏都是5V5集体游戏，因此整个团队需要宏观策略和微观精准执行。
在游戏的每个阶段，玩家为自己的决定分配不同的权重。 例如，在对线阶段，玩家往往会更关注自己的线路而不是支援盟友。 中后期，玩家要注意团战的动态。 每个AI玩家与队友的配合操作都包含在计算范围内，这会增加计算量。
4.奖励函数难以制定：
MOBA 游戏直到游戏的最后一刻才会有悬念，不像棋盘游戏那样直接获得吃子或举子等奖励。 这使得MOBA类AI的奖励函数制定起来非常困难。
接近强化学习
“绝物”背后是一种名为“强化学习”（RL）的AI技术。 其思想来源于心理学中的行为主义理论。 因此，这种学习方法与人类学习新知识的方式有一些相似之处。 。
游戏作为现实世界的模拟和模拟，一直是检验和提升AI能力的试金石。 复杂的游戏被业界认为是克服人工智能终极问题——通用人工智能（AGI）的关键一步。 如果在模拟现实世界的虚拟游戏中，人工智能学会像人类一样快速地分析、决策和行动，它将能够执行更困难、更复杂的任务，发挥更大的作用。
强化学习根据时间序列做出一系列决策。 它首先假设每个问题都对应一个。 此时，每个Agent采取的每一个动作都是一个。 拿到之后，Agent再从中获取，然后不断循环这个过程，以达到整体的最大化。
从RL的原理可以看出，RL是一种在不确定、复杂的环境中不断试错并根据反馈不断调整策略以最终实现目标的AI。 这非常符合游戏的实际场景。
虽然RL目前在一些特定场景上取得了很多突破，比如控制步进电机和电子竞技。 截至目前，《绝物》的RL框架尚未开源，但好在Open AI的gym框架开源王者荣耀绝悟，并提供了完整的RL接口。 它让我们通过玩游戏来了解深度学习的原理。 安装gym非常简单，只需记住执行这个命令[atari]即可。
示例代码如下：
健身房
env =gym.make('--v4')#初始化环境
()：
= env.reset()#重置观察
（100）：
env.()#渲染环境
print()#打印出观察到的值
= env..()#根据动画，当然你也可以自己实现
, ,完成, 信息 = env.step()
print()#打印奖励值
:
print(" {} 之后 ".(t+1))
休息
env.close()
其运行效果如下：
清关小贴士
关于如何击败AI，我们可以参考李世石三年前击败的第四场比赛。 第78步是挖掘。 此举震惊了当时的所有人，甚至被围棋界认为是“捍卫人类智慧”。 文明的瑰宝。”
随后又被李士道的“神之手”打得乱了阵脚，他下了一个叫做黑93的常识棋，导致棋盘右侧大面积的黑子“全部死了”。
之后，“Alpha Go”判断情况对自己不利，每步棋所花费的时间大幅增加。 第一次被李世石拖入倒计时。 最终，李世石冷静完成，锁定胜局。 后来，通过仔细审查，人们发现这七十八招并非无解。 只是当时触发了AI的bug才让人类赢得了比赛。
可以说，战胜AI最关键的一招就是永远不要在它的空间里与AI战斗，永远不要按照常理出牌。 《绝乌》虽然强大，但绝对还没有完成。 正如我们之前所说，类 MOBA 的 AI 模型的奖励函数很难制定。 这大概是因为一开始战争迷雾没有解开，入侵就没有解决。 丛林中的利润值没有成团清线那么高，所以《绝悟》的启动套路比较简单。 那么作为新手玩家，笔者通过上面的分析给大家一些建议。
1、选择强大的入侵阵容，不断蚕食AI经济。 因为当AI明显无法击败他们时，通常会放弃。 在个人测试中，如果人类玩家强烈入侵，AI一般会选择放弃。 不过这个策略对于普通玩家来说用处不大，因为即使自己经济领先，一般AI也会放弃。 玩家仍然无法击败人工智能。
2.偷塔。 由于王者荣耀等MOBA游戏归根结底还是推塔，从《绝武》的学习结果来看，击杀和远古生物给予的奖励权重明显更高，这也不难理解。 因为在普通比赛中这两点确实是胜败的关键。
前面说过，战胜AI的关键是不按常理出牌，使用李元芳、米莱迪、周瑜等强力推塔阵容，趁对方战斗时快速偷塔暴君、霸主等遥远的山谷生物。 实测发现，尤其是前4分钟，当防御塔有格挡机制时，“绝乌”对于守塔的兴趣并不是很大。 这个时候快速偷塔往往是记住比赛的关键。
3.防杀关键韧性鞋。 王者荣耀中有一个很特别的道具：韧性鞋，可以减少被控制的时间。 “绝乌”在进行越塔击杀时，往往依赖于持续的控制。 笔者在实测中看到，人类玩家反杀“绝无”的时候，基本都是把韧性鞋的钱都留着，等待“绝无”控制技能向前施展，瞬间购买，这样避免被控死，进而达到反杀的伟大目标，大不了可以减慢AI的节奏，为队友偷塔争取时间。
后记
我们知道，现实生活中很多现实问题（比如股票）并没有明确的规则，或者规则会改变，具体的决策需要AI自行探索。 这就是强化学习的优势。
从长远来看，AI+游戏研究将是攻克AI终极研究难题——通用人工智能（AGI）的关键一步。 不断让AI从0到1学习进化，发展出一套合理的行为模式。 这一过程中的经验、方法和结论有望广泛应用于医疗、制造、无人驾驶、农业、智慧城市管理等领域。 给其他领域带来更深远的影响。
未来还会有哪些“绝物”AI式的惊喜，让我们拭目以待。
