懂外语、会创作，机器高质量学习挑战均在这里实现
编译 | 禾木木
出品 | AI科技大本营（ID:rgznai100）
近年来人工智能在不断的发展中，机器不仅已经学会了英语写作，也正在学习其它语言。
德国 Aleph Alpha 已经构建了世界上最强大的 AI 语言模型之一。它不仅能说流利的英语，还可以说德语、法语、西班牙语和意大利语。
该算法建立在机器学习的最新进展之上，这些进展帮助计算机能够以真正理解的方式处理语言。通过利用从阅读网络中学到的知识，构思出给定主题的连贯文章，并可以令人信服地回答一些常识性问题。
然而，可能与美国开发的类似程序产生的答案有所不同。例如，当被问及历史上最好的运动队时，Aleph Alpha 回答了一支著名的德国足球队。美国制造的模型更有可能回答芝加哥公牛队或纽约洋基队。如果用法语编写相同的程序并且提问时，答案很可能会是著名的法国团队，因为该算法会调整其文化视角。Aleph Alpha 设计为双语，这意味着可以用一种语言提出问题，然后用另一种语言得到答案。
机器学习语言
“这是变革性的人工智能，”Aleph Alpha 的创始人兼首席执行官 Jonas Andrulis 说，他曾在 Apple 从事人工智能工作。
机器学习在经历了几十年的掌握单词和理解句子含义方面缓慢进展之后，终于取得了一些有希望的进展。
美国 OpenAI 在 2019 年率先展示了一种名为 GPT-2 的强大新型 AI 语言模型。它提供了一个新的、更强大的版本 GPT-3，以通过 API 选择公司和研究人员。其他一些美国公司，也在开发类似的工具。
现在，在中国、韩国、以色列以及德国也在开发人工智能通用语言工具。每项努力都有自己的技术曲折，但都基于机器学习的相同进步。
机器学习在语言上的发展
长期以来，让机器掌握语言一直是人工智能的一大挑战。语言之所以如此强大，是因为可以将单词和概念结合起来，赋予几乎无限的思想。但是，由于经常出现歧义，解码单词的含义也非常困难，而且不可能将所有语言规则都写入计算机程序中（有些人已经尝试过）。
人工智能的最新进展表明，机器可以通过阅读网络来培养一些显著的语言技能。
2018 年，谷歌的研究人员发布了一种强大的新型大型神经网络的详细信息，该网络专门用于自然语言理解，称为 Transformers 的双向编码器，或 BERT。这表明机器学习可以在语言理解方面产生新的进展，并激发探索可能性的努力。
一年后，OpenAI 展示了 GPT-2，它是通过向一个语言模型提供网络文本而构建的。这需要大量的计算机能力，据估计要花费数百万美元，以及相当多的工程技能，但它似乎开启了对机器的新理解水平。
“这些大型语言模型通过阅读能了解到世界是如何运作的，”斯坦福大学专门研究人工智能和语言的教授克里斯曼宁说。
GPT 及其同类本质上是非常有才华的，他们会学习如何重新创建语言中的单词和语法模式，但这也意味着他们可以脱口而出、极其不准确的事实以及从网络的阴暗角落中抓取的仇恨语言。
耶路撒冷希伯来大学计算机科学教授 Amnon Shashua 是另一家基于这种方法构建 AI 模型的联合创始人。Shashua的新公司开发了一种名为 Jurassic-1 的人工智能算法，该算法展示了惊人的英语和希伯来语语言技能。
在演示中，Jurassic-1 可以生成关于给定主题的文本段落、为博客文章设计吸引人的标题、编写简单的计算机代码等。Shashua 表示这个模型比 GPT-3 更复杂，他相信侏罗纪的未来版本能够从它收集的信息中建立对世界的常识性了解。
重新创建 GPT-3 的其他努力反映了世界和互联网的语言多样性。今年 4 月，华为的研究人员公布了一种名为 PanGu-alpha（写作 PanGu-α）的类似 GPT 的中文语言模型的详细信息。今年 5 月，韩国搜索巨头 Naver 表示，已经开发了自己的语言模型，称为 HyperCLOVA，可以“说”韩语。
清华大学教授唐杰领导北京人工智能研究院的一个团队，在政府和行业的帮助下，开发了另一种名为五道（意为“启蒙”）的中文模型。
五道模型比任何其他模型都要大得多，这意味着它的模拟神经网络分布在更多的云计算机上。增加神经网络的规模是让 GPT-2 和 -3 更有能力的关键。五道还可以处理图像和文本，唐杰已经成立了一家公司将其商业化。“我们相信这可以成为所有人工智能的基石，”唐说。
AI 语言模型可能会被滥用
这些新 AI 程序的能力似乎证明了这种热情，但将此类语言模型商业化的竞赛也可能会比增加护栏或限制滥用的努力更快。
也许对 AI 语言模型最紧迫的担忧是它们可能会被滥用。由于这些模型可以针对某个主题生成令人信服的文本，因此有些人担心它们很容易被用来生成虚假评论、垃圾邮件或假新闻。
乔治城大学的研究分析师 Micah Musser 研究了语言模型传播错误信息的潜力。Musser 表示，研究表明，不可能使用人工智能来捕捉人工智能生成的虚假信息。一条推文中没有足够的信息让机器判断它是否是由机器编写。
更多问题也可能潜伏在这些巨大的语言模型中，中国互联网内容训练的语言模型将反映塑造该内容的审查制度。
斯坦福大学的另一位计算机科学教授、一个致力于研究 GPT-3 等通用人工智能模型潜力的新中心的首席研究员 Percy Liang 补充道这些大型语言模型可能会以令人惊讶或意外的方式失败。
结 语
Percy Liang 中心的研究人员正在开发他们自己的大规模语言模型，以更多地了解这些模型的实际工作方式以及它们如何出错。“GPT-3 可以做很多令人惊奇的事情，甚至设计师都没有预料到，”他说。
开发这些模型的公司承诺会审查那些可以访问它们的人。Shashua 表示将有委员会来审查公司内模型的使用。但随着工具的增多和变得更容易获得，尚不清楚所有的滥用都会被发现。
开源 GPT-3 竞争对手 Eleuther 背后的人工智能研究员 Stella Biderman 表示，复制 GPT-3 这样的人工智能模型在技术上并不是很难。对于拥有几百万美元和一些机器学习毕业生的人来说，创建强大的语言模型的障碍正在缩小。像亚马逊网络服务这样的云计算平台现在为任何有足够资金的人提供工具，可以更容易地构建 GPT-3 等所需规模的神经网络。
在清华，唐杰正在设计他的模型，以利用事实数据库，为它提供更多的基础。“这对所有从事这些大型模型工作的人来说都是一个大问题。”
对于此，你怎么看呢？
参考链接：
https://www.wired.com/story/ai-write-english-learning-other-languages/
相关文章：
JPA 复杂查询 - Querydsl
添加依赖 <!--query dsl --> <dependency> <groupId>com.querydsl</groupId> <artifactId>querydsl-jpa</artifactId> </dependency> <dependency> <groupId>com.querydsl</groupId> <artifactId>qu…
服务器端开发经验总结 Linux C语言
简介在进行服务器端开发的时候需要考虑一些算法和性能问题，经过了几年的开发，对这方面有了一些经验，现在写下来跟大家分享和讨论。我主要是在Linux下进行C语言的开发，所以后面的实现都是基于Linux操作系统并用C语言来讲解。其它平…
Backbone.js学习笔记 Hello World!
使用Backbone.js 和 MVC 架构创建一个典型的Hello world项目。虽然是“杀鸡用牛刀了”，毕竟是我第一次使用Backbone.js 依赖 jQuery 1.9.1Undersore.js 1.5.0Backbone.js开始 <!doctype html> <html> <head> <meta charset"utf-8"&g…
一文速览机器学习的类别（Python代码）
作者：泳鱼来源：算法进阶机器学习按照学习数据经验的不同，即训练数据的标签信息的差异，可以分为：*监督学习（supervised learning）*非监督学习（unsupervised learning）*半监…
Linux下分割与合并文件的方法
Linux下分割与合并文件的方法 切割合并文件在linux下用split和cat就可以完成。下面举些实例进行说明。1.文件切割文件切割模式分为两种： 文本文件 二进制模式。 1.1文本模式 文本模式只适用于文本文件，用这种模式切割后的每个文件都是可读的。文本模式又…
将网站程序放在tmpfs下
将网站程序放在tmpfs下然后用nginx直接做对外服务呢varnish或者squid都是利用内存和它的连接数来做到加速服务.但是如果是squid->nginx->fastcgi->mysql这样当中很多连接是开销在内部的连接之中而且如果客户端请求php.squid还需要将请求再转发至nginx,然后nginx再转发…
docker 连接容器
1.通过端口映射 sudo docker run -d -P training/webapp python app.py 容器有一个内部网络和IP地址（在使用Docker部分我们使用docker inspect命令显示容器的IP地址） -P 标记创建一个容器，将容器的内部端口随机映射到主机的高端口49000到4990…
新进展！英伟达用 AI 给纪录片配音，情绪语调拿捏得稳稳地
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） AI 已经将合成语音从单调的机器人电话和传统 GPS 导航系统转变为智能手机和智能扬声器中动听的虚拟助手。 虽然日常和Siri、小爱或小度等对话时声音还是很机械，但最新的技术进展显示&#x…
揭开Annotation的面纱
Annotation是Java5、6只后的新特征（中文称之为注解），并且越来越多的得到了应用，比如Spring、Hibernate3、Struts2、iBatis3、JPA、JUnit等等都得到了广泛应用，通过使用注解，代码的灵活性大大提高。这些都是…
使用Nginx的proxy_cache缓存功能取代Squid
[文章作者：张宴 本文版本：v1.2 最后修改：2009.01.12 转载请注明原文链接：http://blog.s135.com/nginx_cache/] Nginx从0.7.48版本开始，支持了类似Squid的缓存功能。这个缓存是把URL及相关组合当作Key，用…
oracle grant 权限
grant connect,resource,dba to user;CONNECT角色： --是授予最终用户的典型权利，最基本的 CREATE SESSION --建立会话 RESOURCE角色： --是授予开发人员的 CREATE CLUSTER --建立聚簇 CREATE …
技术沙龙 | TeaTalk 带你深度探索 SDN 网络技术再创新
越来越多的企业、行业和政府机关顺应企业数字化转型、云服务和国家政策等趋势将业务迁移上云。随着移动云的快速发展，对网络提供差异化的服务能力也提出了很多新的考验。大规模数据中心、虚拟化 SDN 网络技术及超融合软硬一体可编程设备在云网络的应用已成为行业发展…
利用windows 2003实现服务器群集的搭建与架设（一） NLB群集的创建与架设
实验场景：西安凌云系统高科技有限公司利用IIS搭建了一个WEB站点，域名为nlb.angeldevil.com。由于业务的逐渐增加，网站速度也越来越慢，而且经常出现故障，为公司的利益带来了很多的不便；公司决定使用两台WEB站…
nginx 反向代理，动静态请求分离,proxy_cache缓存及缓存清除
一，nginx反向代理配置 #tomcat 显然就是用户访问www.wolfdream.com(需要设置本地localhost，将www.wolfdream.com指向nginx所在IP)的时候(或将www.wolfdream.com直接写在nginx所在的IP地址)，将请求转到到后台的tomcat服务器，即127.…
深度强化学习的前景：帮助机器掌控复杂性
作者：数据实战派 来源：数据实战派深度强化学习，即机器通过测试其行为后果来学习的方法，是人工智能最有前途和影响力的领域之一。它将深度神经网络与强化学习结合在一起，可以通过训练实现多个步骤的目标。它是自动驾驶汽…
成绩转换(15)
#include<stdio.h> int main() {int n;char ch;while(scanf("%d",&n)!EOF){if(n>100||n<0) continue;if(n>90) chA;else if(n>80) chB;else if(n>70) chC;else if(n>60) chD;else chE;printf("%c\n",ch);} }转载于:https://ww…
pangolin最新版 v2.5.2.975
Pangolin是一款帮助渗透测试人员进行Sql注入测试的安全工具。 所谓的SQL注入测试就是通过利用目标网站的某个页面缺少对用户传递参数控制或者控制的不够好的情况下出现的漏洞，从而达到获取、修改、删除数据，甚至控制数据库服务器、Web服务器的目的的测试…
nginx 的proxy_cache才是王道
nginx 的proxy_cache才是性价比最高的缓存,我目前的配置是LiteSpeednginx,可以参考apachenginx将动态内容交给LiteSpeed或apache来处理,然后利用proxy_cache反向代理全部缓存在硬盘,变成静态内容,大家都知道nginx跑静态内容是有多厉害了吧,所以这样就可以小内存跑大PV.但是这样…
Android 占位符 %1$s %1$d
1、整型，比如“我今年23岁了”，这个23是整型的。在string.xml中可以这样写，<string name"old">我今年%1$d岁了</string> 在程序中，使用 [java] view plaincopy String sAgeFormat getResources().getStrin…
谁说技术男不适合养猫！90后程序员2天做出猫咪情绪识别软件
整理 | 王晓曼出品 | CSDN（ID：CSDNnews）9月1日，一则关于#程序员2天做出猫咪情绪识别软件#的话题登上微博热搜，参与阅读的人数达到了8218.1万，讨论次数1.3万，引发网友们的热议。高手在民间&#…
符合RESTful的接口规范
把api放在专属域名下，要带版本号 api的url中应该只有名词，和数据库的表或文档资源相对应；对资源（collection）的具体操作类型则由http方法动词表示 （安全性：不改变资源状态，类似只读&…
Nginx proxy_cache 使用示例
原文出处：http://blog.chenlb.com/2010/04/nginx-proxy-cache.html 动态网站使用缓存是很有必要的。前段时间使用了 nginx proxy_stroe 来保存静态页面，以达到缓存的目的。当然 proxy stroe 用来做缓存是不够好的方案。 缓存这一块当然还有 squid 之类的…
Lync 小技巧-49-Lync 自动备份-批量管理-用户（免费视频）
自从2010年开始，自从Lync Server 2010开始，我都在研究Lync 自动备份和批量管理用户，当年都做成功，做标准过．不过都是图片，未写博客，为什么呢?有可能你有这样那样的假设，但是今天可以…
数学很差的人能当程序员吗？
【CSDN 编者按】作者在大学时代受《程序员》杂志的启发，从数学专业投身计算机编程，毕业后进入软件开发行业。过去9年，他去过大厂敲代码，也曾在创业公司带过团队，一直从事“下一代”软件技术的研发，对于网上…
Nginx 学习笔记（六）引入线程池 性能提升9倍
原文地址：https://www.cnblogs.com/shitoufengkuang/p/4910333.html 一、前言 1、Nignx版本：1.7.11 以上 2、NGINX采用了异步、事件驱动的方法来处理连接。这种处理方式无需（像使用传统架构的服务器一样）为每个请求创建额外的专用…
Nginx源代码分析 - 日志处理
我看Nginx源代码的时候，感觉整个系统都在传递log指针。log在nginx里是比较关键的。日志和内存分配是最基础的两个起点代码，最好是在自己写的程序框架中早点完善并实现。以免未来要用大量的精力调整。1. 日志的源代码位置日志的源代码在src/code/ngx_log.…
strom.yaml配置
2019独角兽企业重金招聘Python工程师标准>>> 配置storm.yaml storm发行版在conf/storm.yaml包含了一些配置信息。你可以在这里看到默认配置。storm.yaml里面的配置比default.xml的优先级要高， 下面是要运行storm集群所必须的配置: 1. storm.zookeeper.se…
用 Python 快速制作海报级地图
作者：费弗里 来源：Python大数据分析 1 简介 基于Python中诸如matplotlib等功能丰富、自由度极高的绘图库，我们可以完成各种极富艺术感的可视化作品，关于这一点我在系列文章在模仿中精进数据可视化中已经带大家学习过很多案例了。 …
关于VS2012如何安装Windows Phone Toolkit
最近也是碰到很多问题，在编程的时候。这个问题是我遇到的比较棘手的一个，问了一堆人都说得很是模糊，最后还是琢磨出来了，深感欣慰。写下来以防以后忘记了怎么操作的，也期望能帮助到遇到同样问题的你。 首先让我先说了几…
论Oracle 11g数据库备份与恢复策略
11G中有个新特性，当表无数据时，不分配segment，以节省空间解决方案：1、insert一行，再roolback就会产生segment了该方法是在空表中插入一行数据，再删除，就会产生segment。则在数据库导出时可以导出…