AIphaCode 并不能取代程序员,而是开发者的工具
编译 | 禾木木
出品 | AI科技大本营(ID:rgznai100)
DeepMind 是 AI 研究实验室,它引入了一种深度学习模型,可以生成具有显著效果的软件源代码。该模型名为 AIphaCode,是基于 Transformers,OpenAI 在其代码生成模型中使用的架构相同。
编程是深度学习和大型语言模型的有前景的应用之一。对编程人才日益增长的需求刺激了创造工具的竞赛,这些工具可以提高开发人员的工作效率,并为非开发人员提供工具来创建软件。
而在这方面,AIphaCode 确实给人留下了深刻的印象。它成功地解决了复杂的编程挑战,这些挑战通常需要数小时的规划、编码和测试。它可能会成为将问题描述转化为工作代码的好工具。
但它不等同于任何级别的人类程序员。这是一种完全不同的软件创建方法,如果没有人类的思考和直觉,这种方法是不完整的。
编码竞赛
编码挑战描述的示例。图片来自 DeepMind
AIphaCode 并不是唯一的,但它完成了一项非常复杂的任务。其他类似的系统专注于生成简短的代码片段,例如执行小任务的函数或代码块(例如,设置 Web 服务器,从 API 系统中提取信息)。虽然令人印象深刻,但当语言模型暴露于足够大的源代码语料库时,这些任务就变得微不足道。
另一方面,AIphaCode 旨在解决竞争性编程问题。编码挑战的参与者必须阅读挑战描述,理解问题,将其转化为算法解决方案,以通用语言实现,并针对一组有限的测试用例进行评估。最后,他们的结果是根据在实施过程中不可用的隐藏测试的性能进行评估的。编码挑战也可以有其他条件,例如时间和内存限制。
基本上,参与编码挑战的机器学习模型必须生成一个完整的程序,用来解决它前所未有的问题。
编码挑战解决方案的示例。图片来自 DeepMind
Transformer 和大型语言模型的力量
AlphaCode 是大型语言模型在解决复杂问题方面取得进展的又一个例子。AlphaCode 是大型语言模型在解决复杂问题方面取得进展的又一个例子。这种深度学习系统通常被称为序列到序列模型 (Seq2seq)。Seq2seq 算法将一系列值(字母、像素、数字等)作为输入,并生成另一个值序列。这是机器翻译、文本生成和语音识别等许多自然语言任务中使用的方法。
根据 DeepMind 的论文,AlphaCode 使用了一种编码器-解码器 Transformer 架构。近年来,Transformer 变得特别流行,因为它们可以处理大量数据序列,并且比其前身循环神经网络 (RNN) 和长短期记忆网络 (LSTM) 所需的内存和计算需求少得多。
Transformer 网络的结构
AlphaCode 的编码器部分为问题的自然语言描述创建了一个数字表示。解码器部分获取编码器产生的嵌入向量,并尝试生成解决方案的源代码。
事实证明,Transformer 模型擅长此类任务,尤其是在为它们提供足够的训练数据和计算能力的情况下。但在研究者看来,AlphaCode 的真正出色之处不仅仅是将原始数据投入到超大型神经网络中的强大功能,更多地在于 DeepMind 的科学家们在设计训练过程以及生成和过滤它的算法方面的独创性有关。
无监督和监督学习
为了创建 AlphaCode,DeepMind 的科学家结合了无监督预训练和监督微调。通常被称为自我监督学习,这种方法在没有足够标记数据或数据注释昂贵且耗时的应用程序中变得流行。
在预训练阶段,AlphaCode 对从 GitHub 提取的 715GB 数据进行了无监督学习。通过尝试预测语言或代码片段的缺失部分来训练模型。这种方法的优点是它不需要任何类型的注释,并且通过接触越来越多的样本,ML 模型在为文本和源代码的结构创建数字表示方面变得更好。
训练和应用AlphaCode的算法。图片来自 DeepMind
然后在 CodeContests(DeepMind 团队创建的带注释数据集)上对预训练模型进行微调。该数据集包含问题陈述、正确和错误的提交以及从各种来源收集的测试用例,包括 Codeforces、Description2Code 和 IBM 的 CodeNet。该模型经过训练,可以将挑战的文本描述转换为生成的源代码。它的结果通过测试用例进行评估,并与正确的提交进行比较。
在创建数据集时,研究人员特别注意避免训练、验证和测试集之间的历史重叠。这确保了 ML 模型在面临编码挑战时不会产生记忆结果。
代码生成和过滤
一旦 AlphaCode 接受了训练,它就会针对以前从未遇到过的问题进行测试。当 AlphaCode 处理一个新问题时,它会产生很多解决方案。然后,它使用过滤算法选择最佳 10 名候选人并将其提交给比赛。如果其中至少有一个是正确的,则认为该问题已解决。
根据 DeepMind 的论文,AlphaCode 可以为每个问题生成数百万个样本,尽管它通常会生成数以千个解决方案。然后对样本进行过滤,只包括那些通过问题陈述中包含的测试的样本。据该论文称,这会删除大约 99% 的生成样本,但仍然留下了数千个有效样本。
为了优化样本选择过程,使用聚类算法将解决方案分组。据研究人员称,聚类过程倾向于将工作解决方案组合在一起。这使得找到一小部分可能通过竞争隐藏测试的候选人变得更加容易。
根据 DeepMind 的说法,在流行的 Codeforces 平台上的实际编程比赛中进行测试时,AlphaCode 平均排名前 54%,考虑到编码挑战的难度,这非常令人印象深刻。
AI VS 人类
DeepMind 的博客正确地指出,AlphaCode 是第一个“在编程竞赛中达到具有竞争力的性能水平”的 AI 代码生成系统。
然而,却有人将这种说法误认为人工智能编码“和人类程序员一样好”这是谬误的将狭义的人工智能与人类解决问题的一般能力进行比较。
例如,DeepBlue 和 AlphaGo,它们是击败国际象棋和围棋世界冠军的人工智能系统。虽然这两个系统都是计算机科学和人工智能的了不起的成就,但它们只擅长一项任务。他们无法在任何其他需要仔细计划和制定战略的任务上与人类对手竞争,这些都是人类在成为国际象棋和围棋大师之前获得的技能。
关于竞争性编程也可以这样说。一位在编码挑战中达到竞争水平的程序员已经花费了数年的时间学习。他们可以抽象地思考问题,解决更简单的挑战,编写简单的程序,并表现出许多其他在编程比赛中被视为理所当然且未评估的技能。
简而言之,这些比赛是为人类设计的。你可以肯定,一般来说,在竞争性编程中排名靠前的人就是一个优秀的程序员。这就是为什么许多公司利用这些挑战来做出招聘决定的原因。
另一方面,AlphaCode 是竞争性编程的捷径——尽管它非常出色。它创建了新颖的代码,不会从其训练数据中复制粘贴。但它并不等同于普通程序员。
因此,与其让 AlphaCode 与程序员竞争,我们更应该对 AlphaCode 和其他类似的 AI 系统在与人类程序员合作时能做什么更感兴趣。这些工具可以对程序员的生产力产生巨大影响。它们甚至可能改变编程文化,将人类转向制定问题(仍然是人类智能领域的学科)并让人工智能系统生成代码。
但程序员仍将处于控制之中,他们必须学会利用人工智能生成代码的力量和局限性。
参考链接:
https://thenextweb.com/news/deepmind-alphacode-tool-not-replacement-for-human-programmers-syndication
相关文章:

源码阅读:SDWebImage(六)——SDWebImageCoderHelper
该文章阅读的SDWebImage的版本为4.3.3。 这个类提供了四个方法,这四个方法可分为两类,一类是动图处理,一类是图像方向处理。 1.私有函数 先来看一下这个类里的两个函数 /**这个函数是计算两个整数a和b的最大公约数*/ static NSUInteger gcd(N…

基于 OpenCV 的网络实时视频流传输
作者 | 努比来源 | 小白学视觉大多数人会选择使用IP摄像机(Internet协议摄像机)而不是CCTV(闭路电视),因为它们具有更高的分辨率并降低了布线成本。在本文中,我们将重点介绍IP摄像机。IP摄像机是一种数字 摄…

【转】让Chrome化身成为摸鱼神器,利用Chorme运行布卡漫画以及其他安卓APK应用教程...
下周就是十一了,无论是学生党还是工作党,大家的大概都会有点心不在焉,为了让大家更好的心不在焉,更好的在十一前最后一周愉快的摸鱼,今天就写一个如何让Chrome(google浏览器)运行安卓APK应用的教…

PHP安装parsekit扩展查看opcode
也可以通过VLD查看,具体请看本人写的http://blog.csdn.net/21aspnet/article/details/7002644安装parsekit扩展 http://pecl.php.net/package/parsekit 下载最新的 #wget http://pecl.php.net/get/parsekit-1.3.0.tgz 安装过程省略 可以参考 本人写的http://blog.c…

group by 查找订单的最新状态 join
Order:snProcedures:sn,status1、 有订单表和流程表。订单表含有订单的详细信息【假设没有订单状态哈】,每个订单有好多种状态:已付款、处理中、待收货等等。现在的需求可能是查询订单状态是待收货的所有订单的信息。【答】先找到…

Xcache安装与使用
官网:http://xcache.lighttpd.net 最新版本下载地址:http://xcache.lighttpd.net/wiki/Release-1.3.2 安装: # wget http://xcache.lighttpd.net/pub/Releases/1.3.2/xcache-1.3.2.tar.gz # tar zvxf xcache-1.3.2.tar.gz # cd xcache-1.3…

安装mysql_python的适合遇到mysql_config not found解决方案(mac)
为什么80%的码农都做不了架构师?>>> 安装mysql_python的适合遇到mysql_config not found解决方案(mac) 用pip安装MySQL-python时候遇到报错: ------我是分割线------ Complete output from command python setup.py e…

推荐 6 个好用到爆的 Pycharm 插件
作者 | 小欣来源 | Python爱好者集中营相信对于不少的Python程序员们都是用Pycharm作为开发时候的IDE来使用的,今天小编来分享几个好用到爆的Pycharm插件,在安装上之后,你的编程效率、工作效率都能够得到极大地提升。安装方法插件的安装方法一…
Kibana 用户指南(使用Flight仪表盘探索Kibana)
使用Flight仪表盘探索Kibana 你是Kibana的新手并希望尝试一下,只需单击一下,你就可以安装Flights样本数据并开始与Kibana交互。 Flight数据集包含四家航空公司的数据,你可以从Kibana主页加载数据和预配置的仪表盘。 在主页上,单击…

php扩展xdebug安装以及用kcachegrind系统分析
一:安装 安装方法一:编译安装1、下载PHP的XDebug扩展,网址:http://xdebug.org/# wget http://pecl.php.net/get/xdebug-2.1.2.tgz# tar -xzf xdebug-2.1.2.tgz# xdebug-2.1.2# cd xdebug-2.1.2# /usr/local/php/bin/phpize# ./con…

Meta AI 新研究,统一模态的自监督新里程碑
作者 | 青苹果来源 | 数据实战派虽然 AI 领域不断涌现出新的突破和进展,却始终难以逃离单一领域的束缚——一种用于个性化语音合成的新颖方法,却并不能用于识别人脸的表情。为了解决这个问题,不少研究人员正在致力于开发功能更强大、应用更广…

细说Debug和Release区别
VC下Debug和Release区别 最近写代码过程中,发现 Debug 下运行正常,Release 下就会出现问题,百思不得其解,而Release 下又无法进行调试,于是只能采用printf方式逐步定位到问题所在处,才发现原来是给定的一个…

26期20180601目录管理
6月1日任务2.1/2.2 系统目录结构2.3 ls命令2.4 文件类型2.5 alias命令系统目录结构ls - list所有的用户在系统里都有自己的家目录,比如现在登陆的是root用户,登陆进去就是在root的家目录中,可以看到之前创建的公钥文件也是在这。但是如果是其…

thttpd安装与调试
http://www.acme.com/software/thttpd/ thttpd是一个非常小巧的轻量级web server,它非常非常简单,仅仅提供了HTTP/1.1和简单的CGI支持,在其官方网站上有一个与其他web server(如Apache, Zeus等)的对比图Benchmark&…

7 款可替代 top 命令的工具!(二)
作者 | JackTian来源 | 杰哥的IT之旅上一篇文章中给大家介绍了《11 款可替代 top 命令的工具!》,今天我再来给大家推荐 7 款可替代 top 命令的工具,看完这两篇替代品的文章相信能让你对 Linux 操作系统下一个小小的命令大开眼界。一、atopato…

Error:Execution failed for task ':app:dexDebug'. com.android.ide.common.process.ProcessException
异常Log: Error:Execution failed for task ‘:app:dexDebug’. > com.android.ide.common.process.ProcessException: org.gradle.process.internal.ExecException: Process ‘command ‘/Library/……/java” finished with non-zero exit value 2 错误原因&am…

# 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结
---恢复内容开始--- 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结 教材学习内容总结 第23章 初识Android操作系统:一个多用户的Linux系统,一个运用程序运行时与其他的运用运行是独立的。发展:在Android4.4之前所有的应用…

php扩展xdebug基本使用
官网:http://www.xdebug.org/ 使用:http://www.xdebug.org/docs/安装 http://blog.csdn.net/21aspnet/article/details/7036087使用1.获取文件名,行号,函数名 xdebug_call_class() <?php function fix_string($a) { …

基于 Opencv 实现眼睛控制鼠标
作者 | 小白来源 | 小白学视觉如何用眼睛来控制鼠标?一种基于单一前向视角的机器学习眼睛姿态估计方法。在此项目中,每次单击鼠标时,我们都会编写代码来裁剪你们的眼睛图像。使用这些数据,我们可以反向训练模型,从你们…

linux 安装安装rz/sz 和 ssh
安装rz,sz yum install lrzsz; 安装ssh yum install openssh-server 查看已安装包 rpm -qa | grep ssh 更新yum源 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentO…

css左固定右自适应常用方法
下面是几种方法的公用部分(右自适应也是一样的,换一下方向) html: <div class"demo"> <div class"sidebar">我是固定的</div> <div class"content">我是自适应的</div> </di…

nginx或httpd实现负载均衡tomcat(三)
接博客nginx或httpd实现反向代理tomcat并实现会话保持(二)实例四:使用httpd负载均衡后端tomcat服务第一步:准备两个tomcat服务器节172.16.240.203修改tomcat的server.xml配置文件,添加一个host。<Host name"to…

为 PHP 应用提速、提速、再提速
原文地址: http://www.ibm.com/developerworks/cn/opensource/os-php-fastapps1/ http://www.ibm.com/developerworks/cn/opensource/os-php-fastapps2/index.html为 PHP 应用提速、提速、再提速!PHP 是一种脚本语言,常用于创建 Web 应用程序…

冬奥会夺金的背后杀手锏,竟是位 AI 虚拟教练
整理 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 近日,一则消息登上了热搜: 2月14日晚,在北京冬奥会自由式滑雪女子空中技巧决赛中,徐梦桃为中国代表团再添一金。她选择了难度系数4.293的动作,…

Socket-实例
import socket,os,time server socket.socket() server.bind(("localhost",9999)) server.listen()while True:conn,addrserver.accept()print("new conn",addr)while True:print("等待新指令")data conn.recv(1024)if not data:print("客…

kcachegrind安装
http://kcachegrind.sourceforge.net/cgi-bin/show.cgi/KcacheGrindDownload http://hi.baidu.com/wangxinhui419/blog/item/4a7409c78c22b4c8d100608a.html http://wxiner.blog.sohu.com/156841393.html说明:linux下如果安装不上,直接下载windows版的吧…

Java【小考】
课上, 老师出了一个题: 考察:1、类的定义 2、类的属性 3、类的方法、重载、构造方法、代码块 题目是这样的: 设计 一个 类:Tree 要求: 1、包含main方法 2、属性:静态: String name ; double hei…

首个深度强化学习AI,能控制核聚变,成功登上《Nature》
编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 最近,DeepMind 开发出了世界上第一个深度强化学习 AI ,可以在模拟环境和真正的核聚变装置中实现对等离子体的自主控制。 这项研究成果登上了《Nature》杂志。 托卡马克是一种用于…

windows下安装mysql8.0压缩版
下面总结下安装过程: 首先解压下载好的压缩版本。将解压后mysql的bin文件目录配置系统环境path变量中使用cmd打开命令窗口,输入mysqld --initialize命令初始化mysql的data数据目录,记住初始化完毕后,会在解压目录下生成一个data文…

Linux实时监控工具Nmon使用
官网:http://nmon.sourceforge.net/pmwiki.php?nMain.HomePage 下载:http://sourceforge.net/projects/nmon/files/nmon_linux_14g.tar.gz 解压: #chmod ux nmon_x86_64_sles11 #chmod 777 nmon_x86_64_sles11 版本不同,对应文件…