再一次输给了AI，弯道急速超车、登上 Nature 封面
作者 | 学术头条
来源 | 学术头条
人工智能（AI）的很多潜在应用，涉及与人类交互时做出更优化的实时决策，而竞技或者博弈类游戏，便是最佳的展示舞台。
近日，发表在《自然》杂志上的封面文章报告称，AI 在赛车对战游戏 Gran Turismo（GT赛车）中战胜了世界冠军级人类玩家。这个 AI 程序名为“Gran Turismo（GT）Sophy”，是一种神经网络驱动程序，它在遵守赛车规则的同时，展现出了超凡的行驶速度、操控能力和驾驶策略。
（来源：Nature）
完成这项 AI 程序研发的核心团队来自索尼 AI 事业部（Sony AI），《GT赛车》系列游戏是日本 Polyphony Digital 公司开发，忠实再现了真实赛车的非线性控制挑战，封装了复杂的多智能体交互，该游戏在索尼 PlayStation 及 PSP 等游戏主机平台上皆有发行，是一款极具拟真感操纵体验的热门赛车游戏。
假如有此 AI 程序的加持，人类玩家估计再也跑不过加强版的单机程序了吧？
图｜游戏截图（来源：GT赛车）
研究人员认为，此项成果或让赛车游戏变得更有意思，并能提供用来训练职业赛车手和发现新赛车技巧的高水平比赛。这种方法还有望应用在真实世界的系统中，比如机器人、无人机和自动驾驶汽车等。
赛道里的速度与激情
驾驶赛车需要极大的技巧。现代一级方程式赛车展示了惊人的工程精度，然而，这项运动的受欢迎程度与其说与汽车的性能PK有关，不如说与顶级车手在将汽车性能发挥到极限时所表现出的技巧和勇气有关。一个多世纪以来，赛道上的成功一直充满着速度和激情。
图｜F1方程式赛车比赛（来源：GNEWS）
赛车比赛的目标很简单：如果你比竞争对手在更短的时间内跑完赛道，你就赢了。然而，实现这一目标需要极其复杂的物理战，驰骋赛道需要小心使用轮胎和道路之间的摩擦力，而这种摩擦力是有限的。
为了赢得比赛，车手必须选择让汽车保持在不断变化的摩擦极限内的轨迹上。转弯时刹车太早，你的车就会慢下来，浪费时间。刹车太晚，当你接近转弯最紧的部分时，你将没有足够的转弯力来保持你想要的路线轨迹。刹车太猛，可能会导致车体旋转。
因此，职业赛车手非常擅长在整个比赛中一圈接一圈地发现并保持赛车的极限。
尽管赛车的操纵极限很复杂，但它们在物理上可以得到很好的描述，因此，它们可以被计算或学习是理所当然的。
近年来，深度强化学习（DRL）已成为 Atari、星际争霸和 Dota 等领域 AI 研究里程碑的关键组成部分。为了让 AI 对机器人技术和自动化产生影响，研究人员必须证明能够成功控制复杂的物理系统，此外，AI 技术的许多潜在应用要求在接近人类的情况下相互作用，同时尊重不精确的人类规范，汽车比赛正是充满这些挑战的典型领域。
图｜游戏比赛数据对比（来源：Nature）
近年来，利用全尺寸、大规模和模拟车辆，自主赛车的研究不断加速。一种常见的方法是预先计算轨迹，并使用模型预测控制来执行这些轨迹。然而，当在摩擦的绝对极限下行驶时，微小的建模误差可能是灾难性的。
与其他车手比赛对 AI 建模精度提出了更高的要求，并引入了复杂的空气动力学相互作用，进一步促使工程师改进控制方案，以不断预测和适应赛道的最优轨迹，有朝一日，无人驾驶汽车下赛道与人类车手一决高下，也并非空谈。
“AI赛车手”的炼成
在 GT Sophy 的开发过程中，研究人员探索了各种使用机器学习来避免建模复杂性的方法，包括使用监督学习来建模车辆动力学，以及使用模仿学习、进化方法或强化学习来学习驾驶策略。
为了取得成功，赛车手必须在四个方面具备高度技能：（1）赛车控制，（2）赛车战术，（3）赛车礼仪和（4）赛车策略。
为了控制汽车，车手们对他们的车辆动力学和赛道的特性有详细的了解。在此基础上，驾驶者建立所需的战术技能，通过防守对手，执行精确的演习。同时，驾驶员必须遵守高度精炼但不精确的体育道德规则，最后，车手在模拟对手、决定何时以及如何尝试超车时，会运用战略思维。
模拟赛车是一个需要在具有高度真实、复杂物理环境中进行实时、连续控制的领域，GT Sophy 在这种环境下的成功首次表明，在一系列汽车和赛道类型中，有可能训练出比顶尖人类赛车手更好的人工智能代理。
这一结果可以被视为是计算机在国际象棋、围棋、冒险、扑克牌和星际争霸等竞争性任务持续发展的另一个重要步骤。
图｜GT Sophy 的训练（来源：Nature）
值得注意的是，GT Sophy 在短短几个小时内就学会了绕道而行，并超过了数据集中 95% 的人类选手，它又训练了九天时间，累计驾驶时间超过了 45000 小时，跑圈时间减少了十分之一秒，直到圈速停止改善。
单凭进步奖励还不足以激励AI程序赢得比赛。如果人类对手的速度足够快，AI程序将学会跟随，并在不冒潜在灾难性碰撞风险的情况下尝试积累更多奖励，实现超车。
为了评估 GT Sophy，研究人员在两项赛事中让 GT Sophy 与顶级 GT 车手进行了较量，GT Sophy 在所测试的三条赛道上都取得了超人的计时表现，它能够执行几种类型的转弯，有效地利用漂移，扰乱后面车辆，拦截对手并执行其他紧急操纵。
尽管 GT Sophy 展示了足够的战术技能，但仍有许多方面有待改进，尤其是在战略决策方面。例如，GT Sophy 有时会在同一条跑道上留出足够的空间，让对手有机可乘。
图｜AI 车手超越人类玩家（来源：Nature）
竞技游戏外更值得关注
关于电子竞技、博弈类的游戏，AI 能战胜人类早已经不是什么稀奇事，而且可以肯定的是，AI 还会越来越强，即便是人类顶尖选手也只能甘拜下风，但能赢电子比赛并没有太多悬念和意义，关键还是看这些超越人类的 AI 程序如何切实攻克产业瓶颈，真实造福人类生活。
1996 年 2 月 10 日，超级电脑 Deep Blue 首次挑战国际象棋世界冠军 Kasparov 以 2：4 落败。1997 年 5 月再度挑战，最终Deep Blue 以 3.5：2.5 击败了 Kasparov ，成为首个在标准比赛时限内击败国际象棋世界冠军的电脑系统。
但 Deep Blue 的缺陷是没有直觉，不具备真正的“智能灵魂”，只能靠超强的计算能力弥补分析思考方面的缺陷，赢得比赛的 Deep Blue 很快也退役了。
2016 年 3 月，谷歌 AI 的 AlphaGo 在四场比赛中击败了围棋世界冠军李世石，被认为是 AI 真正意义上的里程碑，AlphaGo 当时使用了蒙特卡洛树搜索与两个深度神经网络相结合的方法，在这种设计下，电脑可像人类大脑一样自发学习进行分析训练，不断学习提高棋力。
自此之后，各类 AI 程序新秀层出不穷，2018 年 12 月 10 日，DeepMind 针对即时战略游戏星际争霸开发的人工智能 AlphaStar 能完虐全球 99.8% 的人类职业选手。
无疑，现在的 GT Sophy 又是一个 AI 胜利的延续。
来自斯坦福大学机械工程系教授 J.Christian Gerdes 认为，GT Sophy 研究所带来的影响也许能远远超出电子游戏范畴，随着许多公司致力于完善运送货物或乘客的全自动车辆，关于软件中有多少应该使用神经网络，以及有多少应该仅基于物理，值得进一步去探索。
总的来说，在感知和识别周围环境中的物体时，神经网络是无可争议的冠军。然而，轨迹规划仍然是物理和优化领域，GT Sophy 在游戏赛道上的成功表明，神经网络有一天可能会在自动化车辆的软件中发挥比今天更大的作用。
更具挑战性的可能是每圈的变化。真实情况下，赛车的轮胎状况在每圈之间都会发生变化，人类驾驶员必须在整个比赛过程中适应这种变化。GT Sophy 能用更多的数据做同样的事情吗？这些数据从何而来？这将使得人工智能有更多进化空间。
参考资料：
https://www.nature.com/articles/s41586-021-04357-7
https://www.nature.com/articles/d41586-022-00304-2
往
期
回
顾
技术
如何使用Python隐藏图像中的数据
技术
干货满满的python实战项目！
技术
25个Python文本处理案例
技术
Python可视化近90天的百度搜索
分享
点收藏
点点赞
点在看
相关文章：
maven 多环境打包
2019独角兽企业重金招聘Python工程师标准>>> 1.在项目的pom中添加 <build><resources><!-- Resource Filter --><resource><directory>src/main/resources</directory><filtering>true</filtering></resource&g…
Sass函数：Sass Maps的函数-map-has-key($map,$key)
map-has-key($map,$key) 函数将返回一个布尔值。当 $map 中有这个 $key，则函数返回 true，否则返回 false。 前面的示例，当 $key 不在 $map 中时，使用 map-get($map,$key) 函数将返回一个 null 值。但对于开发人员，并看…
Memcache内存分配策略
转自：http://tank.blogs.tkiicpp.com/2010/12/14/memcache%e5%86%85%e5%ad%98%e5%88%86%e9%85%8d%e7%ad%96%e7%95%a5/ 一、Memcache内存分配机制关于这个机制网上有很多解释的，我个人的总结如下。 Page为内存分配的最小单位。 Memcached的内存分配以page…
论排列组合，持续更新
今天刚好碰到了一个排列组合问题，因为之前对这方面的学习比较少，所以用的非常蠢的方法做了四位数中取三位的排列，写的程序太有局限性，源码如下#define _CRT_SECURE_NO_WORNINGS 1#include<stdio.h>#include<stdlib.h>…
Python 中少为人知的 10 个安全陷阱
作者：Dennis Brinkrolf译者：豌豆花下猫Python猫原题：10 Unknown Security Pitfalls for Python英文：https://blog.sonarsource.com/10-unknown-security-pitfalls-for-pythonPython 开发者们在使用标准库和通用框架时，…
JS+CSS3 360度全景图插件 - Watch3D.js
日常闲扯 从上一篇文章到这篇中间快过了一年了，时间真滴过得快。不是在下中间没想过写新的文章，而是自己确实变懒了(体重1 1 1 1....) 。。OTL。。。不过到最后觉得还是需要写点东西，不然人就真废了，于是便有了这样一个插件&#…
CQRS学习——最小单元的Cqrs（CommandEvent）[其一]
【说明：博主采用边写边思考的方式完成这一系列的博客，所以代码以附件为准，文中代码仅为了说明。】 结构 在学习和实现CQRS的过程中，首要参考的项目是这个【http://www.cnblogs.com/yangecnu/p/Introduction-CQRS.html】。所以Dpfb…
PHP APC安装与使用
最简单的方法，找到php安装目录的pecl 自动安装： # /usr/local/php/bin/pecl install apc 下面按提示一步步完成即可 配置/etc/php.ini 末尾加入extensionapc.so 手动安装： 官网 http://cn2.php.net/manual/zh/book.apc.php 下载http://p…
AIphaCode 并不能取代程序员，而是开发者的工具
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） DeepMind 是 AI 研究实验室，它引入了一种深度学习模型，可以生成具有显著效果的软件源代码。该模型名为 AIphaCode，是基于 Transformers，OpenAI 在其代码生…
源码阅读：SDWebImage（六）——SDWebImageCoderHelper
该文章阅读的SDWebImage的版本为4.3.3。 这个类提供了四个方法，这四个方法可分为两类，一类是动图处理，一类是图像方向处理。 1.私有函数 先来看一下这个类里的两个函数 /**这个函数是计算两个整数a和b的最大公约数*/ static NSUInteger gcd(N…
基于 OpenCV 的网络实时视频流传输
作者 | 努比来源 | 小白学视觉大多数人会选择使用IP摄像机（Internet协议摄像机）而不是CCTV（闭路电视），因为它们具有更高的分辨率并降低了布线成本。在本文中，我们将重点介绍IP摄像机。IP摄像机是一种数字 摄…
【转】让Chrome化身成为摸鱼神器，利用Chorme运行布卡漫画以及其他安卓APK应用教程...
下周就是十一了，无论是学生党还是工作党，大家的大概都会有点心不在焉，为了让大家更好的心不在焉，更好的在十一前最后一周愉快的摸鱼，今天就写一个如何让Chrome（google浏览器）运行安卓APK应用的教…
PHP安装parsekit扩展查看opcode
也可以通过VLD查看，具体请看本人写的http://blog.csdn.net/21aspnet/article/details/7002644安装parsekit扩展 http://pecl.php.net/package/parsekit 下载最新的 #wget http://pecl.php.net/get/parsekit-1.3.0.tgz 安装过程省略 可以参考 本人写的http://blog.c…
group by 查找订单的最新状态 join
Order：snProcedures：sn,status1、 有订单表和流程表。订单表含有订单的详细信息【假设没有订单状态哈】，每个订单有好多种状态：已付款、处理中、待收货等等。现在的需求可能是查询订单状态是待收货的所有订单的信息。【答】先找到…
Xcache安装与使用
官网：http://xcache.lighttpd.net 最新版本下载地址：http://xcache.lighttpd.net/wiki/Release-1.3.2 安装： # wget http://xcache.lighttpd.net/pub/Releases/1.3.2/xcache-1.3.2.tar.gz # tar zvxf xcache-1.3.2.tar.gz # cd xcache-1.3…
安装mysql_python的适合遇到mysql_config not found解决方案（mac）
为什么80%的码农都做不了架构师？>>> 安装mysql_python的适合遇到mysql_config not found解决方案（mac） 用pip安装MySQL-python时候遇到报错： ------我是分割线------ Complete output from command python setup.py e…
推荐 6 个好用到爆的 Pycharm 插件
作者 | 小欣来源 | Python爱好者集中营相信对于不少的Python程序员们都是用Pycharm作为开发时候的IDE来使用的，今天小编来分享几个好用到爆的Pycharm插件，在安装上之后，你的编程效率、工作效率都能够得到极大地提升。安装方法插件的安装方法一…
Kibana 用户指南（使用Flight仪表盘探索Kibana）
使用Flight仪表盘探索Kibana 你是Kibana的新手并希望尝试一下，只需单击一下，你就可以安装Flights样本数据并开始与Kibana交互。 Flight数据集包含四家航空公司的数据，你可以从Kibana主页加载数据和预配置的仪表盘。 在主页上，单击…
php扩展xdebug安装以及用kcachegrind系统分析
一：安装 安装方法一：编译安装1、下载PHP的XDebug扩展，网址：http://xdebug.org/# wget http://pecl.php.net/get/xdebug-2.1.2.tgz# tar -xzf xdebug-2.1.2.tgz# xdebug-2.1.2# cd xdebug-2.1.2# /usr/local/php/bin/phpize# ./con…
Meta AI 新研究，统一模态的自监督新里程碑
作者 | 青苹果来源 | 数据实战派虽然 AI 领域不断涌现出新的突破和进展，却始终难以逃离单一领域的束缚——一种用于个性化语音合成的新颖方法，却并不能用于识别人脸的表情。为了解决这个问题，不少研究人员正在致力于开发功能更强大、应用更广…
细说Debug和Release区别
VC下Debug和Release区别 最近写代码过程中，发现 Debug 下运行正常，Release 下就会出现问题，百思不得其解，而Release 下又无法进行调试，于是只能采用printf方式逐步定位到问题所在处，才发现原来是给定的一个…
26期20180601目录管理
6月1日任务2.1/2.2 系统目录结构2.3 ls命令2.4 文件类型2.5 alias命令系统目录结构ls - list所有的用户在系统里都有自己的家目录，比如现在登陆的是root用户，登陆进去就是在root的家目录中，可以看到之前创建的公钥文件也是在这。但是如果是其…
thttpd安装与调试
http://www.acme.com/software/thttpd/ thttpd是一个非常小巧的轻量级web server，它非常非常简单，仅仅提供了HTTP/1.1和简单的CGI支持，在其官方网站上有一个与其他web server（如Apache, Zeus等）的对比图Benchmark&…
7 款可替代 top 命令的工具！(二)
作者 | JackTian来源 | 杰哥的IT之旅上一篇文章中给大家介绍了《11 款可替代 top 命令的工具！》，今天我再来给大家推荐 7 款可替代 top 命令的工具，看完这两篇替代品的文章相信能让你对 Linux 操作系统下一个小小的命令大开眼界。一、atopato…
Error:Execution failed for task ':app:dexDebug'. com.android.ide.common.process.ProcessException
异常Log： Error:Execution failed for task ‘:app:dexDebug’. > com.android.ide.common.process.ProcessException: org.gradle.process.internal.ExecException: Process ‘command ‘/Library/……/java” finished with non-zero exit value 2 错误原因&am…
# 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结
---恢复内容开始--- 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结 教材学习内容总结 第23章 初识Android操作系统：一个多用户的Linux系统，一个运用程序运行时与其他的运用运行是独立的。发展：在Android4.4之前所有的应用…
php扩展xdebug基本使用
官网：http://www.xdebug.org/ 使用：http://www.xdebug.org/docs/安装 http://blog.csdn.net/21aspnet/article/details/7036087使用1.获取文件名，行号，函数名 xdebug_call_class() <?php function fix_string($a) { …
基于 Opencv 实现眼睛控制鼠标
作者 | 小白来源 | 小白学视觉如何用眼睛来控制鼠标？一种基于单一前向视角的机器学习眼睛姿态估计方法。在此项目中，每次单击鼠标时，我们都会编写代码来裁剪你们的眼睛图像。使用这些数据，我们可以反向训练模型，从你们…
linux 安装安装rz/sz 和 ssh
安装rz，sz yum install lrzsz; 安装ssh yum install openssh-server 查看已安装包 rpm -qa | grep ssh 更新yum源 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentO…
css左固定右自适应常用方法
下面是几种方法的公用部分（右自适应也是一样的，换一下方向） html: <div class"demo"> <div class"sidebar">我是固定的</div> <div class"content">我是自适应的</div> </di…