AI赛车手打败人类三冠王，还登上了Nature封面

本文来自微信公众号：量子位（ID：QbitAI），作者：鱼羊、博雯，原文标题：《索尼搞了个大新闻！AI打败人类三冠王，登上Nature封面，这波让任天堂无话可说》，头图来自：视觉中国

今天，索尼真是背刺了一把任天堂。

早上任天堂在直面会上公布了诸多游戏大作：异度之刃3、火焰纹章无双、马里奥前锋……可谓占尽风头。

然而，万万没想到，索尼的3A游戏大作居然搞了个更大的新闻，登上了Nature封面。

把游戏宣发做到了顶级学术期刊封面，我服。

不过这篇文章可不是加钱打广告，而是实实在在的技术论文——

一只来自索尼的AI，名叫GT Sophy。

且看这位AI赛车手的比赛画面，先是一个机智变道绕开对手的卡位：

随后在弯道胶着时大秀操作，以190km/h的速度一举反超，将对手甩到身后。

可别觉得AI在赛车游戏里战胜人类没啥特别的，要知道，这样的比赛是在GT赛车中进行的——

这是一款高度拟真的赛车游戏，也就是说，选手们几乎就是在真·开车。

△图右为GT世界冠军Takuma Miyazono

而GT Sophy也是世界上首个在此类需要持续判断和高速反应的赛车游戏中，战胜人类冠军的AI。

斯坦福汽车研究中心联合主任Chris Gerdes教授就对此表示：

GT Sophy在比赛中如此熟练地超越人类驾驶员，这对于人工智能而言是一项里程碑式的进步。

值得一提的是，最新一代GT系列游戏Gran Turismo 7将在3月4日正式登陆PS4/PS5平台。

虽然玩家们不太可能在第一时间对战GT Sophy，但索尼已经表示，他们正在努力将这只强大的AI整合到GT赛车中。

并不简单的赛车AI

AI战胜人类，在很多人听来已经不够新鲜。

但与过去在国际象棋、围棋等棋类游戏，或星际争霸、Dota等动作游戏中一展拳脚的AI相比，赛车那看似“先到终点就赢”的简单目标，实际上要复杂得多：

比如刹车，就是一种不断探索汽车轮胎与道路之间摩擦力的“物理战”。

转弯时刹车太早，可能就无法顺利过弯，还会损失车速。

刹车太晚，又难以保持想要的路线轨迹，甚至导致车体旋转。

整个比赛过程中，赛车手必须时刻保持对周围环境的判断，并能根据路况作出及时的反应。

同时，驾驶技巧、针对不同对手的战术策略、甚至是遵守规则的赛车精神和礼仪……都是一个赛车AI所必备的素养。

为了达成这些目标，索尼将AI的训练场设在了自家的GT赛车系列的游戏中。

这是一款PS平台独占游戏，全名Gran Turismo，是一个汽车行业中的真实名词，意为“能够长距离行驶的高性能车”。

这款游戏主打的就是真实驾驶感，甚至可以通过一套带力反馈的方向盘外设体会到横向g值、前轮滑移率、车重、车辆的调教特性等各种细腻的路感反馈。

在GT游戏中，研究这种通常使用10到20台PS游戏机、同等数量的计算实例、一台异步更新神经网络的GPU，从头开始训练这个叫做GT Sophy的AI。

训练主要针对两个连续值的维度：转向和速度。

同时，为了把GT Sophy和人类拉到同一起跑线上，研究者们还调慢了它的操作速度：

对游戏的交互频率为10赫兹（人类标准是60赫兹），反应时间则分别为100毫秒、200毫秒、250毫秒。

在一张完整的地图中，研究者以6秒为单位，将智能体所跑的赛道量化为一段一段的“静态地图段”，并将每一段赛道的左右边缘和中心线编码为60个等距的三维点：

训练场准备好了，现在就是让GT Sophy真正成为一名会转弯、会思考的赛车手。

行为者- 评价者机制

索尼使用了一种新的深度学习算法，也叫做量化回归的行为者-评价者（QR-SAC）方法。

AI智能体会被扔到一个没有指令的环境中，并根据评价者（也就是价值函数）的评估来选择行动，并根据完成目标的结果而获得奖励或惩罚。

比如，智能体会因为保持高速前进而获奖励，也会因为出界、撞墙或失去牵引力受到惩罚。

这种奖惩机制使智能体迅速得到积极的反馈，慢慢开始熟悉在赛道上的行为。

事实上，GT Sophy只用了几个小时就学会了在赛道上行驶，并很快就在Maggiore赛道上超越了17700名玩家：

但这种单纯的速度，或者说赛道完成进度上的奖励并不足以激励智能体赢得比赛。

因为如果对手速度足够快，智能体就完全可以通过跟随并学习对手的“偷懒”的方式积累大量奖励，最终也能完成目标。

于是，研究者们增加了“超车奖励”，并且，相对于对手的距离的改变也会与奖励积分成比例。

同时，赛车的碰撞上也有奖惩机制，研究人员设置了一种较为保守的奖励：

在确保智能体能以足够强悍的驾驶风格赢得胜利的同时，也不至于会粗暴地将其他赛车赶出道路，而遭受真正的赛车规则的惩罚。

最终，GT Sophy在GT赛车比赛中胜过了2021年TGR GT杯冠军、2020年国家杯世界冠军和2021年亚军、2018年国家杯亚洲/大洋洲冠军等多位世界顶级赛车手。

在比赛中，GT Sophy在三条赛道上都取得了第一名。

而在比赛中，它能够执行几种类型的转弯，有效地利用漂移，扰乱后面车辆，拦截对手并执行其他紧急操纵。

不过，研究者也提到，GT Sophy在战略决策方面还存在着一些改进的空间：有时会在同一条跑道上留出足够的空间，让对手有机可乘。

索尼要用它开发自动驾驶

看到这里，你觉得GT Sophy能力如何？

反正几位世界级选手们是服气了。

在GT赛车世界级赛事上斩获三冠的宫园拓真（Takuma Miyazono）表示：

Sophy的速度非常快，单圈时间胜过了此前对最佳车手的预期。

在其中一场比赛中，GT Sophy Rouge以5.8秒的优势战胜了第二名山中智明（2021年TGR GT杯冠军），最快圈速为1：54.373，比山中快了2秒多。

而GT Sophy的能力显然不仅仅能在游戏中大杀四方。

斯坦福汽车研究中心联合主任Chris Gerdes教授就指出，GT Sophy背后的AI技术，可以帮助开发自动驾驶汽车：

GT Sophy在赛道上的成功表明，有朝一日，神经网络在自动驾驶汽车软件中的作用可能比现在更大。

目前，神经网络算法在自动驾驶汽车软件中主要负责跟踪道路标记、感知障碍，控制软件则仍依赖于人为设定的规则。

丰田研究所高级经理Avinash Balachandran也表示，“在赛车中应用机器学习和自主控制令人兴奋”。

还有不少网友认为，这一AI或许与索尼新成立的电动汽车公司有关，或许再过几年，这个AI就能在其自动驾驶技术中看到了。

当然对于索尼玩家来说，最期待的是：下个月上市的GT7能否加入这个最强AI？

好消息是GT7仍会登陆上一代游戏机PS4，没买到PS5的玩家也能尝尝鲜了。

论文：https://www.nature.com/articles/s41586-021-04357-7

参考链接：https://sonyai.github.io/gt_sophy_public/

本文来自微信公众号：量子位（ID：QbitAI），作者：鱼羊、博雯