1024块TPU在燃烧！BERT训练从3天缩短到76分钟 | 技术头条
点击上方↑↑↑蓝字关注我们~
「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑
作者 | 琥珀
出品 | AI科技大本营（ID:rgznai100）
“Jeff Dean称赞，TensorFlow官方推特支持，BERT目前工业界最耗时的应用，计算量远高于ImageNet。我们将BERT的训练时间从三天缩短到了一小时多。”UC Berkeley大学在读博士尤洋如是说道。
近日，来自Google、UC Berkeley、UCLA研究团队再度合作，成功燃烧1024块TPU，将BERT预训练模型的训练时长从3天缩减到了76分钟。batch size技术是加速神经网络训练的关键，在“Reducing BERT Pre-Training Time from 3 Days to 76 Minutes”这篇论文中，作者提出了LAMB优化器，它支持自适应元素更新和分层校正。
论文传送门：https://arxiv.org/pdf/1904.00962.pdf
论文摘要：batch size增加到很大时的模型训练是加速大型分布式系统中深度神经网络训练的关键。但是，这种模型训练很难，因为它会导致一种泛化差距。直接优化通常会导致测试集上的准确性下降。
BERT是一种先进的深度学习模型，它建立在语义理解的深度双向转换器上。当我们增加batch size的大小（如超过8192）时，此前的模型训练技巧在BERT上表现得并不好。BERT预训练也需要很长时间才能完成，如在16个TPUv3上大约需要三天。
为了解决这个问题，我们提出了LAMB优化器，可将batch size扩展到65536，且不会降低准确率。LAMB是一个通用优化器，batch size大小均使用，且除了学习率之外不需要别的参数调整。
基线BERT-Large模型需要100万次迭代才能完成预训练，而batch size大小为65536/32768的LAMB仅需要8599次迭代。我们还将batch size进行内存限制，接近TPUv3 pod，结果可在76分钟内完成BERT训练。
据悉，该论文的一作是来自UC Berkeley计算机科学部的在读博士尤洋，同时也是Google Brain的实习生。据公开信息显示，尤洋的导师是美国科学院与工程院院士，ACM/IEEE fellow，伯克利计算机系主任，以及首批中关村海外顾问James Demmel教授。他当前的研究重点是大规模深度学习训练算法的分布式优化。2017年9月，尤洋等人的新算法以24分钟完成ImageNet训练，刷新世界纪录 。
在此之前，他曾在英特尔实验室、微软研究院、英伟达、IBM沃森研究中心等机构实习。尤洋本科就读于中国农业大学计算机系，硕士保送清华大学计算机系，是一名杠杠的理工学霸！
（本文为 AI大本营原创文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
「2019 Python开发者日」演讲议题全揭晓！这一次我们依然“只讲技术，拒绝空谈”10余位一线Python技术专家共同打造一场硬核技术大会。更有深度培训实操环节，为开发者们带来更多深度实战机会。更多详细信息请咨询13581782348（微信同号）。
推荐阅读：
萌新养成 | AI科技大本营实习生招募计划
80+机器学习数据集，还不快收藏
推荐收藏 | Python爬虫干货资料，内含入门、实战、视频
GitHub超全机器学习工程师成长路线图，开源两日收获3700+Star！
靠找Bug赚了6,700,000元！他凭什么？
移动开发或将被颠覆？
他曾主导世界上第一台安卓智能机, 如今能否靠区块链手机找回昔日的光荣？|人物志
轻松了解面试官心理！ElasticSearch写入数据的工作原理是什么？ | 技术头条
程序员与程序媛的神仙爱情 | 程序员有话说
❤点击“阅读原文”，查看历史精彩文章。
相关文章：
牵引力教育设计总监解密9大2018潮流UI设计趋向
作为一名紧跟时代潮流的UI设计师，设计的风格一定要紧跟上最新的设计趋势，因为更为有效且颇具趣味的响应式图标必将得到关注。同时，鲜艳丰富的色彩，精彩纷呈的插图设计都会博得用户眼球。这样你的设计更容易获得更多人的认可与热爱…
Android媒体相关开发应用程序接口
翻译自：http://developer.android.com/guide/topics/media/index.html MediaAndroid框架支持各种普通media类型的编解码，因此你可以很容易地把音频，视频和图片整合到你的应用程序中。通过使用MediaPlayer的接口，你可以播放各种音视…
Facebook开源图嵌入“神器”：无需GPU，高效处理数十亿级实体图形 | 极客头条...
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑编译 | Major、一一出品 | AI科技大本营（ID: rgznai100）有效处理大规模图对于促进人工智能的研究和应用至关重要，但特别是在工业应用中的图&…
【opencv】ubuntu14.04上编译opencv-4.0.1 + opencv_contrib-4.0.1
1、要求 编译器版本：c11 cmake版本：3.5.1 2、安装camke 2.1 官网下载：https://cmake.org/download/ 选择：Linux x86_64 cmake-3.14.1-Linux-x86_64.sh 2.2 安装： 将cmake-3.14.1-Linux-x86_64.sh拷贝考ubuntu中&…
软件开发文档模板 （学习）
1 可行性研究报告 可行性研究报告的编写目的是：说明该软件开发项目的实现在技术、经济和社会条件方面的可行性；评述为了合理地达到开发目标而可能先择的各种方案；说明论证所选定的方案。 可行性研究报告的编写内容要求如下： …
Unix数据中心主宠儿
曾几何时UNIX一直是除个人电脑之外的领域中应用最为广泛的操作系统，并且为现代操作系统的成型奠定了基础，可以说UNIX的历史就像应用程序本身一样耐人寻味。UNIX的过去回首1983年，肯.托马森和D.里奇由于对操作系统发展史以及UNIX操作系统应用所…
【AI】基本概念
1、什么是人工智能 人工智能（AI）是通过研究、开发，来找到用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的综合性的科学技术。其表现为，让计算机系统通过机器学习等方式，来获得可以履行原本只有依…
在浏览器中进行深度学习：TensorFlow.js (四）用基本模型对MNIST数据进行识别
2019独角兽企业重金招聘Python工程师标准>>> 在了解了TensorflowJS的一些基本模型的后，大家会问，这究竟有什么用呢？我们就用深度学习中被广泛使用的MINST数据集来进行一下手写识别的操作。 MINST数据集 MINST是一组0到9的手写数字…
不止临床应用，AI还要帮不懂编程的医生搞科研
近日，推想科技发布 AI 学者科研平台 InferScholar Center，该平台为更多的医生提供零门槛的 AI 科研能力，让医生可以快速将深度学习、影像组学以及文本数据处理相关的前沿技术应用到自己的临床科研实践中，他们将为平台上的医疗科研…
rhel6Inode详解
在Linux文件系统中，很多人对Inode都不太明白，今天我就和大家一起来分享一下我对Inode的认识，如果有理解错误的地方，请大家多多批评指点。在上一篇一天一点学习Linux之认识文件系统中，在最后给出了一张EXT3文件系统结构…
争论不休的TF 2.0与PyTorch，到底现在战局如何了？ | 技术头条
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑作者 | Jeff Hale译者 | Jackey编辑 | Jane出品 | AI科技大本营（id：rgznai100）【导语】 TensorFlow 2.0 和 PyTorch 1.0 陆续发布后，…
struts2实验2:struts2.xml action中* ,{}以及${}
p.s 关键在于struts.xml中的匹配，使用* ,{}以及${}可以让代码更加简洁清晰 代码核心思路 在struts.xml中通过路由(url)去指定控制逻辑的Action中的方法,例如 <package name"admin" namespace"/admin" extends"struts-global">&…
【Ubuntu】dpkg-deb -c :查看deb文件中的内容
1、dpkg-deb -c :查看deb文件中的内容 $ dpkg-deb -c packageeg： $ dpkg-deb -c sogoupinyin_2.2.0.0108_amd64.deb drwxr-xr-x root/root 0 2018-04-18 16:50 ./ drwxr-xr-x root/root 0 2018-04-18 16:50 ./etc/ drwxr-xr-x root/root …
捕获Camera并保存图片到本地(照相功能) -samhy
Flex博文 捕获Camera并保存图片到本地(照相功能) -samhy作者:admin 日期:2010-07-12字体大小: 小 中 大捕获Camera并保存图片到本地(照相功能)这几天对Camera类进行了一下规整，并利用JPGEncoder类实现了照相的功能,代码如下： XML/HTML代码import flash.m…
【C++】模板函数的声明和定义必须在同一个文件中
1、问题描述 习惯性的将函数的定义和实现，分别写在头文件和源文件（.cpp）中。今天也按照这个习惯实现了一个模板函数。然后编译时报错 ... error: undefined reference to ...2、原因分析 c中模板的声明和定义不能分开。C中每一个对象所占用…
基于AWS-ELK部署系统日志告警系统
前言 运维故障排障速度往往与监控系统体系颗粒度成正比，监控到位才能快速排障 在部署这套系统之前，平台所有系统日志都由GraylogZabbix，针对日志出现的错误关键字进行告警，这种做法在运维工作开展过程中暴露出多个不足点ÿ…
《周志华机器学习详细公式推导版》发布，Datawhale开源项目pumpkin-book
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑来源 | Datawhale（ID：Datawhale） 如果让你推荐两本国内机器学习的入门经典作，你会推荐哪些呢？相信大家同我一样ÿ…
JVM内存泄漏检测与处理
JVM内存泄漏检测与处理（JVM Memory Leak detection and handling） JVM垃圾回收机制的原则和方法 JVM垃圾回收中一个基本原则是对象没有被引用或则引用其它对象，换句话说当一个对象在heap 中是隔离(isolation)状态的时候，垃圾回收器…
【Dlib】dlib和opencv的互转
一、dlib::matrix转换成cv::Mat 1、注意事项： 1）将dlib::matrix转成BGR格式后，再转换成cv::Mat，因为cv::Mat中是按照BGR顺序存储 2）注意最后添加的cv::Mat::clone()函数，因为dlib::toMat(tmp)返回的mat数…
原创 人物志|山东省临沭县 - 一位身残志坚的奋斗青年 - 吴忠军
原创 人物志|山东省临沭县 - 一位身残志坚的奋斗青年 - 吴忠军 02972018-04-29 16:15:27 人物志|山东省临沭县 - 一位身残志坚的奋斗青年 - 吴忠军 齐鲁晚报 2018年04月29日 2018年4月29日，山东省临沂市临沭县，一位年轻的小伙子。吴忠军，山东…
百度SLG拿下前锤子科技CTO钱晨，还要合并小鱼在家？ | 极客头条
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑整理 | 一一出品 | AI科技大本营（id：rgznai100）2016 年 7 月，锤子科技前 CTO 钱晨从该公司退休的消息被证实，关于其离职的…
【Dlib】dlib实现深度网络学习之 input层
1、 dlib::input 模板类，深度神经网络的简单输入层，它将某种图像作为输入并将其加载到网络中。 这是一个基本的输入层，它只是简单地将图像复制到一个张量中。 注意：dlib::input只支持输入dlib::matrix和dlib::array2d类型&#x…
首发 | 13篇京东CVPR 2019论文！你值得一读~ 技术头条
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑编者按：计算机视觉和模式识别大会 CVPR（Conference on Computer Vision and Pattern Recognition）作为人工智能领域计算机视觉方向的重要学术会议…
Windows 活动目录（AD）服务器系统升级到2012之活动目录角色迁移（三）
4.5迁移服务器角色到AD20121. 打开powershell，使用命令迁移服务器角色到AD2008输入命令Ntdsutil输入命令Roles输入命令Connections输入命令Connect to server AD2012，连接AD2012控制器输入命令QUIT输入Transfer infrastructure master命令，转…
《星际争霸2》引擎技术解析
就在SIGGRAPH大会刚结束之后，AMD和暴雪在AMD官方网站上放出了《星际争霸II》的官方技术文档，通过游戏引擎技术的展示让星际迷们感受到越来越多的惊喜。画面优化给CPU带来考验着色方面，在使用原型的基础上利用3D Studio MAX让程序员对整体效果…
回顾与展望：大热的AutoML究竟是什么？ | 技术头条
点击上方↑↑↑蓝字关注我们~「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑来源 | 第四范式编者按：AutoML（Automatic Machine Learning，自动机器学习）旨在研究在没有专业知识的情况下使用的低门槛甚至零门槛的…
【Python】深度学习中将数据按比例随机分成随机 训练集 和 测试集的python脚本
深度学习中经常将数据分成 训练集 和 测试集，参考博客，修改python脚本 randPickAITrainTestData.py 。 功能：从 输入目录 中随机检出一定比例的文件或目录，移动到保存 测试集目录 中，原输入目录作为训练目录。 import…
docker 系列之 配置阿里云镜像加速器
1.登录阿里云 2.登录后找到右上角的“管理中心”,点击进入后》点击“镜像加速器”;剩下的安装文档配置就好 问题1：配置完后还是提示：Tag latest not found in repository 【本人也是在这里被困了好久,尝试了各种方法】 解决方案：最后发现这里…
LVM-HOWTO/学习笔记(二)
1. 在3块scsi磁盘上创建lv Run pvcreate on the disks # pvcreate /dev/sda # pvcreate /dev/sdb # pvcreate /dev/sdc Create a volume group # vgcreate my_volume_group /dev/sda /dev/sdb /dev/sdc/ Run vgdisplay to verify volume group # vgdisplay # vgdisplay…
【python】使用python脚本将LFW数据中1672组同一个人多张照片拷贝出来
使用python脚本将LFW数据中1672组同一个人多张照片拷贝出来 dataCleaning4multiple.py 源码如下： import os, random, shutil import sys, getopt import stringdef getDir(argv):inPath outPath num2try:opts, args getopt.getopt(argv,"hi:o:n:",[&…