用这个Python库，训练你的模型成为下一个街头霸王！
作者 | MJ-Murray
译者 | 孤鸿
整理 | Jane
出品 | AI科技大本营
从世界瞩目的围棋游戏 AlphaGo，近年来，强化学习在游戏领域里不断取得十分引人注目的成绩。自此之后，棋牌游戏、射击游戏、电子竞技游戏，如 Atari、超级马里奥、星际争霸到 DOTA 都不断取得了突破和进展，成为热门的研究领域。
突然袭来的回忆杀~
今天为大家介绍一个在街机游戏《街头霸王 3》中进行模拟来训练改进强化学习算法的工具包。不仅在 MAME 游戏模拟器中可以使用，这个 Python 库可以在绝大多数的街机游戏中都可以训练你的算法。
下面营长就从安装、设置到测试分步为大家介绍一下。
目前这个工具包支持在 Linux 系统，作为 MAME 的包装器来使用。通过这个工具包，你可以定制算法逐步完成游戏过程，同时接收每一帧的数据和内部存储器的地址值来跟踪游戏状态，以及发送与游戏交互的动作。
首先你需要准备的是：
操作系统：Linux
Python 版本：3.6+
▌安装
你可以使用 pip 来安装该库，运行下面的代码:
▌《街头霸王3》示例
这个工具包目前已用于游戏《街头霸王 3》（Street Fighter III Third Strike: Fight for the Future）, 还可以用于 MAME 上的任何游戏。下面的代码演示了如何在街头霸王的环境下编写一个随机智能体。
此外，这个工具包还支持 hogwild 训练:
▌游戏环境设置
游戏 ID
在创建一个模拟环境之前，大家需要先加载游戏的 ROM，并获取 MAME 所使用的游戏 ID。比如，这个版本街头霸王的游戏 ID 是“sfiii3n”，你可以通过运行以下代码来查看游戏ID：
该命令会打开 MAME 模拟器，你可以从游戏列表中选择你所要的那款游戏。游戏的 ID 通常位于标题后面的括号中。
内存地址
实际上该工具包与模拟器本身不需要太多的交互，只需要查找和内部状态相关联的内存地址，同时用所选取的环境对状态进行跟踪。你可以使用 MAME Cheat Debugger 来观察随着时间的变化，内存地址值发生了怎样的改变。
可以使用以下命令运行 Debugger：
更多关于该调试工具的使用说明请参考此教程：
https://www.dorkbotpdx.org/blog/skinny/use_mames_debugger_to_reverse_engineer_and_extend_old_games
当你确定了所要跟踪的内存地址后可以执行以下命令进行模拟：
该命令会启动模拟器，并在工具包导入到模拟器进程时暂停。
分步模拟
在工具包导入完成后，你可以使用 step 函数分步进行模拟：
step 函数将以 Numpy 矩阵的形式返回 frame 和 data 的值，同时也会返回总时间步长的所有内存地址整数值。
发送输入
如果要向仿真器输入动作，你还需要确定游戏支持的输入端口和字段。例如，在街头霸王游戏中需要执行以下代码进行投币：
可以使用 list actions 命令查看所支持的输入端口，代码如下：
以下返回的列表就包含了街头霸王游戏环境中可用于向 step 函数发送动作的所有端口和字段：
模拟器还有一个 frame_ratio 参数，可以用来调整你的算法帧率。在默认设置下，NAME 每秒能生成 60 帧。当然，如果你觉得这样太多了，你也能通过以下代码将其改为每秒 20 帧：
▌性能基准测试
目前该工具包的开发和测试已经在 8 核AMD FX-8300 3.3GHz CPU 以及 3GB GeForce GTX 1060 GPU 上完成。在使用单个随机智能体的情况下，街头霸王游戏环境可以以正常游戏速度的 600%+ 运行。而如果用 8 个随机智能体进行 hogwild 训练的话，街头霸王游戏环境能以正常游戏速度的 300%+ 运行。
▌简单的 ConvNet 智能体
为了确保该工具包能够训练算法，我们还设置了一个包含 5 层 ConvNet 的架构，只需进行微调，你就能用它来进行测试。在街头霸王的实验中，这个算法能够成功学习到游戏中的一些简单技巧如：连招 (combo) 和 格挡 (blocking)。街头霸王的游戏机制是由易到难设置了 10 个关卡，玩家在每个关卡都要与不同的对手对战。刚开始时，智能体平均只能打到第二关，而当经过了 2200 次训练后，它平均能打到第 5 关。学习率的设置是通过每一局中智能体所造成的净伤害和所承受的伤害来计算的。
原文链接：
https://github.com/M-J-Murray/MAMEToolkit
——【完】——
2018 中国大数据技术大会将于 12 月 6 - 8 日在新云南皇冠假日酒店举行。汇聚超百位国内外实力讲师从学界翘楚到行业一线大拿：
管晓宏：中国科学院院士；
张宏江：源码资本投资合伙人；
张晓东：美国俄亥俄州立大学 Robert M. Critchfield 讲席教授；
陈性元：北京信息科学技术研究院副院长；
周靖人：阿里巴巴集团副总裁；
李浩源：Alluxio 公司创始人&CEO
......
全方位立体解读大数据时代的技术进程，为众技术爱好者奉上一场优质干货盛宴。
相关文章：
bat curl 返回值_bat curl 发送http请求 监控网站
标签：batecho offcolor 1ftitle 正在监控 www.0579ld.com.cnecho 正在监控 www.0579ld.com.cn(23.247.53.3)..:aaaD:\curl\curl -I www.0579ld.com.cn>nulset str%ERRORLEVEL%if not "%str%""0" (echo 在%date% %time:~0,5% 无法正常访问&am…
C2:抽象工厂 Abstract Factory
提供一个创建一系列相关或相互依赖对象的接口,而无需指定它们具体的类. 应用场景: 一系列相互依赖的对象有不同的具体实现。提供一种“封装机制”来避免客户程序和这种“多系列具体对象创建工作”的紧耦合 UML: 代码示例: abstract class AbstractProductA { }abstract class A…
C#如何向EXCEL写入数据
C#如何向EXCEL写入数据 我按着微软技术支持网上的方法写入数据：使用“自动化”功能逐单元格传输数据，代码如下： // Start a new workbook in Excel. m_objExcel new Excel.Application(); m_objBooks (Excel.Workbooks)m_objExcel.Workbook…
写注册机犯法吗_逼着一个受害者去向另一个受害者道歉，不过分吗？
有一个姑娘，特别漂亮，笑容迷人，身姿绰约，才华横溢，琴棋书画，样样精通，饱读诗书，温婉贤德。大多数见过这女子之人，无不为之倾倒。很多人，为了一睹姑娘之貌&…
用正则表达式替换示例
stringDemo Regex.Replace("20071220", "(d{4})(d{2})(d{2})", "$1-$2-$3 23:59:59")
“剁手”的第十年，AI加持下的快递速度你还满意吗？
这个“双11”，你的购物车清空了吗？经过了紧张刺激的“抢购”环节，想必现在已经到了抓耳挠腮的“等快递”环节了吧！2017年，我国全年快递业务量已突破400亿件[1]。而初步预计今年“双11”期间，全行业处理的邮…
黑客内参告诉你一个：设计师用div+css 必须知道的网页布局类型
今天我在黑客内参受到了很多的留言，很多小伙伴在表示想要建立一个属于自己的站点，让我觉得现在建站是大部分人都比较感兴趣的一个技术吧！ 碰巧今天整理以前的笔记发现了一本之前遗留下来的建站笔记，现在我就手打奉献给各位吧&…
“史上最强”BigGAN公开TensorFlow Hub demo！
还记得前些日子轰动一时的 BigGAN 模型吗？生成对抗网络（GAN）作为当前最热门的技术之一，最近在图像生成方面的成果颇受人关注。近日，由 DeepMind 和赫瑞瓦特大学组成的科研人员公布的 BigGAN 模型，被称为“史…
chrome弱网_请你进行一下弱网模拟
使用chrome的webview调试工具，缺点是只适用于web页面的弱网模拟。方法二：chrome的webview调试工具弱网模拟使用chrome的webview调试工具，缺点是只适用于web页面的弱网模拟。具体步骤：(1)应用打开webview调试功能，具体如…
sql server 2005 T-SQL BEGIN TRANSACTION (Transact-SQL)
标记一个显式本地事务的起始点。BEGIN TRANSACTION 使 TRANCOUNT 按 1 递增。 Transact-SQL 语法约定 语法 BEGIN { TRAN | TRANSACTION } [ { transaction_name | tran_name_variable }[ WITH MARK [ description ] ]] [ ; ] 参数 transaction_name 分配给事务的名称。transac…
redis之 centos 6.7 下安装 redis-3.2.5
前期准备： 1. 操作系统需要安装 gcc 包 与 TCL 库， 通过配置本地 yum 源 ，yum -y install gcc 、 yum -y install tcl安装 2. 下载 redis 安装包，上传至 linux 下。 网址： http://download.redis.io/releases/ [rootm…
JVM中强引用,弱引用,软引用和幽灵引用的代码
上代码: 1 public class ReferenceTest {2 public static void main(String[] args) {3 //test1();//软引用4 //test2();//弱引用5 //test3();//幽灵引用_16 test4();//幽灵引用_27 8 }9 public static void test1(){10 …
springboot取yml中的值_SpringBoot 中从yml配置文件中读取常用的参数值
SpringBoot现在基本上都是使用application-XXX.yml(生产环境为pro，开发测试环境为dev)来配置项目中的一些配置条件，在springboot中还可以通过从yml文件中将yml中的数据直接读取出来。1.yml文件(这里设置参数的时候往往设置两层前缀，避免在调用…
用AI帮你找工作，领英是如何做的？
领英人工智能研发总监 张梁11 月 8-9 日，CSDN 和 AICamp 联合举办的AI开发者大会在京举行。领英（LinkedIn）人工智能研发总监张梁发表了《AI 在大规模招聘求职上的应用》的主题演讲，并接受了 AI科技大本营的专访。张梁在分享中表示…
Web APi之消息处理管道（五）
前言 MVC有一套请求处理的机制，当然Web API也有自己的一套消息处理管道，该消息处理管道贯穿始终都是通过HttpMessageHandler来完成。我们知道请求信息存在 RequestMessage 中，而响应信息则存在 ResponseMessage 中，当请求信息进入…
delphi 判断鼠标 左右_外设评测HyperX Pulsefire Haste游戏鼠标分享
HyperX家的外设产品我使用较多的是游戏耳机和键盘，鼠标给我的印象还停留在两年前的首款逆火鼠标上，倒不是说HyperX的鼠标不好，主要是我不喜欢太大、太重，以及扁平外型鼠标，以至于HyperX近年发布的几款鼠标都没能结缘。…
先发制人！Waymo将首推商用载人自动驾驶服务，Uber们怕不怕？
编译 | 费棋出品 | AI科技大本营“真的，真的很难。”在 11 月 13 日《华尔街日报》举办的一场会议上，Alphabet 旗下 Waymo CEO John Krafcik 对做自动驾驶汽车技术的艰难不无感慨。在他看来，未来几十年内，自动驾驶汽车将一直存在限…
如何进行绩效考核
这是项目管理书中的一段摘要，年底到了，在这里我把它发出来，希望能对各位即将进行绩效考核的项目经理有帮助。项目经理小赵最近有两个棘手的问题，第一个问题是测试小组有些人抖机灵，对一些他们认为不那么重要的测试用例…
欧盟剑指科技巨头，意欲上调税款
科技公司和税收之间的博弈， 在欧盟早已是一场台面上的战争。 雷锋网了解到，最近法国、德国、意大利和西班牙四国的的财政部长联名致信欧盟轮值主席和欧盟委员会，要求对科技巨头的收入征税，而不仅仅只是利润部分征税。 此外&#x…
mysql 5.7 编译_Mysql5.7版本编译安装及配置
配置yum安装方式1、配置本地yum源1 vim /etc/yum.repos.d/rhel-source.repo2 [rhel-source]3 nameRed Hat Enterprise Linux $releasever - $basearch -Source4 baseurlfile:///mnt5 enabled16 gpgcheck02、清除yum缓存yum clean all3、更新yum源yum update allyum安装 …
程序员，快通知你们老板上吴恩达的最新AI课
是的，吴恩达老师又出新的 AI 课程了，不愧是劳模中的劳模。新课程的名字叫 AI For Everyone，一听就知道不是特别的技术。因此，本课程也适用于商业人士，帮助他们理解如何建立可持续的 AI 战略。吴恩达老师说了࿰…
mysql分组和where条件查询_【MySQL】：分组查询where和having
分组查询之前学习聚合函数，知道聚合函数在默认情况下，将会把所有的记录当成一组，让我们在对列求值，计算时更方便了一些。但是，在某些情况下，我们需要显式地对记录进行分组，使用的是group by [co…
百度研究院再升级，迎来9位世界级科学家
美国时间11月13日，百度研究院在美国硅谷召开会议，宣布百度研究院顾问委员会正式成立，并宣布在2018年陆续迎来9位世界级科学家加盟。 新成立的百度研究院顾问委员会包含5名成员，包括AT&T和贝尔实验室前副总裁及首席科学家Davi…
《Linux From Scratch》第二部分：准备构建 第三章：软件包与补丁- 3.1. 简介
本章列出了一个需要下载的软件包列表，它们用来构建一个基本的 Linux 系统。所列出来的版本号对应着该软件的确定可以正常工作的版本，本书是以它们为基础的。我们强烈反对使用更新一些的版本，因为某个版本能用的编译指令可能并不适用于新版本。…
和老同事的谈话：关于职业生涯以及MDA
应该是bigtall在2007年度的最后一篇了，虽然2007年欠了大家很多帐，但是继续写应该是在2008年的事情了，很多时候非常有想法的东西，真正到落笔的时候，还是会发现欠缺许多东西，所以很多时候犹豫再三，…
太嚣张了！会Python的人！
随着计算机语言的发展，Python也跻身于语言排行的常青树。在当下的人工智能浪潮中，Python可以说是C位出道，成功引起了大家的注意。国内不少大公司都已经在使用Python，如豆瓣、搜狐、金山、腾讯、盛大、网易、百度、阿里、淘宝、热酷…
Oracle笔记 六、PL/SQL简单语句块、变量定义
1、简单SQL语句，HellWorld示例 --输出信息 begin dbms_output.put_line(Oracle Hello World!); end; 2、变量的定义、使用 --定义变量 declare sName varchar2(20); begin sName : jack; dbms_output.put_line(sName); end; --常用类型 declare sNum number(1); sCo…
mysql 5.6 uf8mb4_MySQL5.7升级到8.0过程详解
前言：不知不觉，MySQL8.0已经发布好多个GA小版本了。目前互联网上也有很多关于MySQL8.0的内容了，MySQL8.0版本基本已到稳定期，相信很多小伙伴已经在接触8.0了。本篇文章主要介绍从5.7升级到8.0版本的过程及注意事项，有想…
modules黑名单
http://www.linuxsir.org/bbs/thread321140.html今天刚看了udev的资料，说可以用blacklist禁用掉，写在/etc/modules.d/blacklist中，如：blacklist pcspkrblacklist via_agp更多的内容，还是看udev的资料吧。modules.auto…
基于tcp和udp的socket实现
2019独角兽企业重金招聘Python工程师标准>>> 本文介绍如何用Java实现Socket编程。首先介绍Java针对Socket编程提供的类，以及它们之间的关系。然后分别针对TCP和UDP两种传输层协议实现Socket编程。 1 Java中的Socket编程接口介绍 Java为Socket编程封装了几…