参数量110亿，附赠750GB数据集，Google提NLP预训练模型T5
整理 | Just，夕颜
出品 | AI科技大本营（ID:rgznai100）
近日，Google 在最新一篇共有 53 页的论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》中，提出了一个最新的预训练模型 T5（全称 Text-To-Text Transfer Transformer），其参数量达到了 110 亿，要知道 Bert Large 模型的参数量不过才 3.4 亿，是后者的 32 倍多。
Google 还放出了源代码：
GitHub 链接：
https://github.com/google-research/text-to-text-transfer-transformer
论文：
https://arxiv.org/abs/1910.10683
尽管文章主题是探索迁移学习的局限性，但其做了大量的预训练模型试验对比。这篇论文太长，亮点可以笼统概括为以下两大部分。
最新预训练模型 T5
T5 库里主要是用于用文本到文本的 Transformer 来重现探索迁移学习极限实验的代码。此存储库中的大部分代码用于加载、预处理、混合和评估数据集。它还提供了一种方法来微调发布的预训练模型。
T5 提供了有用的模块来训练和微调 text-to-text 混合任务的模型，可以作为未来模型开发的库。
研究人员通过大规模语料库上训练了几种基于 Transformers 的模型，以评估其文本到文本方法的有效性。
T5 登顶 GLUE 和 SUPERGLUE
这个最大的模型 T5 包含多达 110 亿个参数，或进行预测时所需的模型内部配置变量。研究人员表示，他们对各种语言任务进行了微调，并在 GLUE 和阅读理解基准 SQuAD和CNN / Daily Mail上取得了最新分数为 89.7。他们还在 SuperGLUE 上进行了测试，该基准包含了一些比当前 NLP 系统更加困难的任务，得分为 89.8，表现可媲美人类。
关于 T5 的所有测试结果都在论文最后一页。“你说你有足够多的算力？那你把这个表格复现一下？”
“买 T5 送 750GB 的 C4 数据集”
T5 模型的成功除了庞大参数量的助力，还包括 Google 研究人员开源的一个新数据集 Colossal Clean Crawled Corpus，简称 C4。顺便说一句，Google 真会起名。
Google研究人员称，将 T5 这个有史以来最大的模型之一提交到通用语言理解评估（GLUE）基准并进行测试后，他们在涵盖问题解答、文本分类等任务上获得了 SOTA 结果。
据称，T4 数据集源于 Common Crawl 项目，该项目每个月会从网络上爬取大约 20 TB 的英文文本。为了过滤出乱码、样板菜单和错误消息，它们仅保留以终端标点符号（句点、感叹号、问号或结束引号）结尾的文本行，同时删除带有明显填充文本和重复项的页面。结果，他们宣称得到一个比大多数用于预训练数据集都大一个数量级的 T4 数据集，约为 750 GB。
然而，Google 团队坦陈，他们的模型在诸如翻译之类的语言任务中表现不尽人意，将原因归结为特定任务数据相对缺乏和训练规模不足。因此，他们提倡使用较小的模型实现更强性能的方法，让迁移学习发挥最大的效能。
该论文的合著者写道：“我们的研究得出一个令人惊讶但重要的结果，那就是较大的模型往往表现更好。用于运行这些模型的硬件价格越来越低，功能却越来越强大，这一事实表明，扩大规模可能仍然是实现更好性能的有效方法。但是，在某些应用程序和场景中，使用较小或较便宜的模型更有效这一现象总是存在的，例如在执行客户端推断或联合学习时。”
网友评价
有知乎网友评论称，这篇论文更多是“大力出奇迹”的结果，有钱可以为所欲为，但内容上没有新意，没有惊喜。最大的意义就是为 NLP 预训练领域目前基本所有方法做了一个系统性的综述和实验对比。
另有网友调侃，Google的这一篇论文估计半路截杀了好几十篇正在酝酿中的 paper。“Google——nlp的灯塔，普通nlper毁灭者。”
你觉得呢？
更多技术详情，还需要你自己啃一遍论文，不，也许需要好几遍。
参考链接：
https://venturebeat.com/2019/10/24/google-achieves-state-of-the-art-nlp-performance-with-an-enormous-language-model-and-data-set/
（*本文为 AI科技大本营整理文章，请微信联系 1092722531）
◆
精彩推荐
◆
推荐阅读
你点的每个“在看”，我都认真当成了AI
相关文章：
Linux之bash编程基本语法
在Linux运维工作中，我们为了提高工作效率通常会用bash编写脚本来完成某工作。今天就来为大家介绍bash的一些常见的基本语法。在讲解bash语法之前首先介绍一下bash。bash环境主要是由解释器来完成的。【解释器】：解释命令：词法分析、语法分析、…
深度学习中的卷积网络简介
卷积网络(convolutional network)也叫做卷积神经网络(convolutional neural network, CNN)，是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据(可以认为是在时间轴上有规律地采样形成的一维网格)和图像数据(可以看作是二维的像素网格)。卷积网…
Windows下搭建PHP开发环境
PHP集成开发环境有很多，如XAMPP、AppServ......只要一键安装就把PHP环境给搭建好了。但这种安装方式不够灵活，软件的自由组合不方便，同时也不利于学习。所以我还是喜欢手工搭建PHP开发环境，需要哪个模块自己安装就行了，…
大数据时代下的新生态、新洞察、新趋势 | 神策 2019 数据驱动大会
10 月 22 日，以“矩•变”为主题的神策 2019 数据驱动大会在北京维景国际大酒店顺利举行，来自全球大数据各大行业的领袖人物聚首北京，融合国际前沿技术与行业实践，深入探讨大数据时代下的新生态、新洞察、新趋势。 大会主题“矩•…
ckedit 文本编辑器
Ckeditor是一个功能非常强大的富文本编辑器，博客园有使用此编辑器，其功能完全可以与MS的Word媲美。 用起来也非常方便。下面是本人总结的安装步骤： 第一步，从http://ckeditor.com/download 下载ckeditor文件包 第二步，…
为什么我害怕数据结构学得好的程序员？
我害怕数据结构学得好的程序员，一跟他们讨论技术，我就感觉自己不是程序员，仅仅是在搬砖维持生活。我所拥有的编程技巧是什么？不就是每个程序员都会的，对数据库的增删改查吗？每一个初入职场的程序员都会。但…
Go语言基础介绍
Go是一个开源的编程语言。Go语言被设计成一门应用于搭载Web服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。目前，Go最新发布版本为1.10.Go语言可以运行在Linux、FreeBSD、Mac OS X和Windows系统上。1. 结构：Go语言的基础组成有以…
强制退出WinForm程序之Application.Exit和Environment.Eixt
这几天在做一个把大量Infopath生成的XML数据，进行处理的程序，我用了MDI子窗体，每个窗体包含了各自的功能，如，遍历目录及其子目录检查文件类型并自动生成Sql语句并入库、对Infopath数据的自动检查、对数据中的某些域的替…
Oracle Study之--Oracle等待事件（3）
Oracle Study之--Oracle等待事件（3）Db file parallel read这是一个很容易引起误导的等待事件，实际上这个等待事件和并行操作（比如并行查询，并行DML）没有关系。 这个事件发生在数据库恢复的时候，…
Windows下通过Python 3.x的ctypes调用C接口
在Python中可以通过ctypes来调用动态库中的C接口，具体操作过程如下：1. 使用vs2013创建一个加、减、乘、除的动态库，并对外提供C接口，code内容如下：math_operations.hpp: #ifndef TEST_DLL_1_MATH_OPERATIONS_HPP_ #def…
如何在3天内拿下DigSci大赛的亚军？| DigSci科学数据挖掘大赛
作者 | 朱翔宇(DOTA)来源 | AI算法之心（AIHeartForYou）【导读】本文将基于作者在中国计算机大会方案宣讲PPT中的内容，给出此次比赛的完整方案，主要从赛题理解、建模核心思路、算法核心思想等角度阐述，同时对相关细节进…
如何获得Oracle系统性能统计？ Oracle大型数据库系统在AIXUNIX上的实战详解 集中讨论 14...
累计读者的来信中，有若干位同仁谈到Oracle的性能问题。什么叫性能慢？怎么量化性能统计？问题我不一一列出了，下面的文字大部分来自Oracle 英文文档，我认为描述的极为精确，比我说的强。 如果有效地诊断性能问…
百度搜索查询命令——组合型
在百度上搜索一下，就会出现一堆关于查询搜索的命令，比如：site，domain，双引号，减号等等。今日，我简单总结一点组合型命令，希望对大家有帮助。 1、domain命令、减号-和的inurl组合 公式…
Delphi多线程编程中的技巧
1）创建线程 MsgThread : TMsgThread.Create(False) ; //创建并执行线程 MsgThread : TMsgThread.Create(True) ; //创建线程后挂起 constructor Create(CreateSuspended: Boolean); 中的参数CreateSuspended表示创建后是否挂起线程。 （2）设置…
Ubuntu14.04下配置OpenGL及测试代码
ubuntu14.04 64位下，默认是没有安装OpenGL相关依赖库的，若安装，则依次执行如下几条命令即可： $ sudo apt-get update $ sudo apt-get install build-essential $ sudo apt-get install libgl1-mesa-dev $ sudo apt-get install li…
VarGFaceNet：地平线提出轻量级、有效可变组卷积的人脸识别网络
作者 | Mengjia Yan、Mengao Zhao、Zining Xu、Qian Zhang、Guoli Wang、Zhizhong Su译者 | 刘畅编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】为了提高用于人脸识别的轻量级网络的判别和泛化能力，本文提出了一种有效的可…
【TortoiseSVN使用教程】
TortoiseSVN使用教程 TortoiseSVN是一个SVN的客户端 1.Checkout Repository 首 先要Checkout服务器端的Repository，所谓的Checkout就是指获得服务器端指定的Repository。存储的所有文件这个 Checkout和Visual Source Safe的Checkout意义完全不一样࿰…
[ASP.NET MVC 小牛之路]10 - Controller 和 Action (2)
继上一篇文章之后，本文将介绍 Controller 和 Action 的一些较高级特性，包括 Controller Factory、Action Invoker 和异步 Controller 等内容。 本文目录 开篇：示例准备 文章开始之前，我们先来了解一下一个请求的发出到Action方法处…
Linux下遍历指定目录的C++实现
之前在 https://blog.csdn.net/fengbingchun/article/details/51474728 给出了在Windows遍历指定文件夹的C实现，这里给出在Linux下遍历目录的实现，Windows和Linux下的实现都是参考了OpenCV 2.x中的实现，OpenCV中的用法可参考https://blog.csd…
要活102年，阿里凭借的是什么？
由浅到深、由轻到重、由拥抱到创新，看似“风平浪静”的历史背后，中国互联网江湖的发展实则“波涛汹涌”。对于身处核心位置的科技巨头阿里巴巴而言，将如何更好地去实现“希望活 102 年”的愿景？凭借的究竟又是什么？作者…
Go基础知识学习(6) 接口
2019独角兽企业重金招聘Python工程师标准>>> Golang接口定义使用interface来声明，它相对于其他语言最大的特定就是接口定义和实现的关联性仅仅依赖接口的名字和声明，无需显式声明。 接口定义和实现 在下面这个例子中，定义了两个自…
多模态数据+知识图谱，这次你的疑难杂症有解了！
数据是AI的基础，不同行业领域的数据来源广泛、形式多样，其每一种来源或形式都可以看作是一种模态，例如视频、图片、语音以及工业场景下的传感数据，红外、声谱等。多模态数据的语义理解与知识表示让智能体能更深入地感知、理解真实…
Linux下通过gettimeofday函数获取程序段执行时间
在Linux下计算某个程序段执行的时间一般使用gettimeofday函数，此函数的声明在sys/time.h文件中。此函数接收两个结构体参数，分别为timeval、timezone.两个结构体的声明如下：struct timeval {time_t tv_sec; /* seconds */long tv_usec; /* mi…
matlab练习程序（Log Polar变换）
Log Polar就是所谓的极坐标变换，通过变换能将笛卡尔坐标系中的图像映射到极坐标系中。 确切的来说我这里不算是Log Polar，因为Log Polar是将图像从（x,y）映射到(log(r),theta)，而我是将图像从（x,y࿰…
SiteMapPath基本用法
1、添加一个网站地图项 Web.sitemap项 2、在 Web.sitemap项的写法如下： <?xml version"1.0" encoding"utf-8"?><siteMap xmlns"http://schemas.microsoft.com/AspNet/SiteMap-File-1.0"><siteMapNode url"defa…
closurescallbacks
引用文章原文地址：（声明：文章只为自己总结知识，内容东拼西凑，版权归以下作者所有。） 1. Wikipedia: callback(computer science) 2. Implement callback routines in Java By John D. Mitchell, JavaWorld.…
吴恩达老师深度学习视频课笔记：卷积神经网络
计算机视觉：包括图像分类(image classification)、目标检测(object detection)、风格迁移(neural style transfer)等等。边缘检测示例：神经网络的前几层可以检测边缘，然后后面几层可能检测到物体的部分，接下来靠后的一些层可能检测…
COCO 2019挑战赛，旷视研究院拿下三项计算机识别冠军 | ICCV 2019
出品 | AI科技大本营（ID:rgznai100）10月27日，两年一度的国际计算机视觉大会ICCV 2019（InternationalConference on Computer Vision）在韩国首尔开幕。作为ICCV 2019重头戏，COCO 是人工智能领域最具影响力的…
runners学习
runners是由salt-run命令调用的，一般我用的到就是jobs和manage模块。源代码是在./site-packages/salt/runners/下的。当然我们可以自定义runners。先谈谈jobs模块。包含active、lookup_jid、list_job、list_jobs、print_job五种方法。salt-run jobs.active ->返回…
Swift基础 - - 高德地图实践
高德地图开发需要自己到官网http://lbs.amap.com/console/ 注册一个ak，新建一个swift工程，然后在Info.plist中添加一个NSLocationAlwaysUsageDescription或者NSLocationWhenInUseUsageDescription。 高德地图的库以及依赖库加入到项目里面 需要的库如下…