单机训练速度提升高达640倍，快手开发GPU广告模型训练平台
作者｜廉相如（快手FeDA智能决策实验室 ）
如何有效处理大规模用户数据进行广告推荐？对于互联网企业的发展和进步至关重要。这也是为何快手成立西雅图实验室并实现新一代GPU广告模型训练平台的原因之一。快手新创建的“Persia”GPU广告模型训练平台比起传统CPU训练平台，单机训练速度提升可达几百倍，在约一小时内即可训练百T级别数据量，并能通过设计算法得到相对于传统训练平台精度更高的模型，对企业收入、计算资源的节约和新模型开发效率产生直观的提升。
大模型GPU分布式运算存储
近年来，GPU训练已在图像识别、文字处理等应用上取得巨大成功。GPU训练以其在卷积等数学运算上的独特效率优势，极大地提升了训练机器学习模型，尤其是深度神经网络的速度。然而，在广告模型中，由于大量的稀疏样本存在（比如用户id），每个id在模型中都会有对应的Embedding向量，因此广告模型常常体积十分巨大，以至于单GPU无法存下模型。目前往往将模型存在内存中，由CPU进行这部分巨大的Embedding层的运算操作。这既限制了训练的速度，又导致实际生产中无法使用比较复杂的模型——因为使用复杂模型会导致对给定输入CPU计算时间过长，无法及时响应请求。
“Persia”系统实现了多GPU分散存储模型，每个GPU只存储模型一部分，并进行多卡协作查找Embedding向量训练模型的模式。这既解决了CPU运算速度过慢的问题，又解决了单GPU显存无法存下模型的问题。当模型大小可以放入单个GPU时，“Persia”也支持切换为目前在图像识别等任务中流行的AllReduce分布训练模式。据研究人员透露，对于一个8GPU的计算机，单机数据处理速度可达原CPU平台单机的640倍。
由于普遍使用的传统异步SGD有梯度的延迟问题，若有 n台计算机参与计算，每台计算机的梯度的计算实际上基于n个梯度更新之前的模型。在数学上，对于第t步的模型xt，传统异步SGD则更新为：
xt+1←xt − learning rate × g(xt−τt),
其中g(xt−τt) 是训练样本的损失函数在τt个更新之前的模型上的 梯度。而τt的大小一般与计算机数量成正比：当计算机数量增多，xt−τt与xt相差就越大，不可避免地导致模型质量的降低。“Persia”的训练模式解决了这种梯度延迟的问题，因此模型质量也有所提升。
同时，“Persia”训练系统还支持对Embedding运算在GPU上进行负载均衡，使用“贪心算法”将不同Embedding均匀分散在不同GPU上，以达到均匀利用GPU的目的。给定k个 GPU，当模型具有m个Embedding层：e1, e2, …, em，对应负载分别为 l1, l2, …, lm，“Persia”将会尝试将Embedding分为k组 S1, S2, …, Sk，并分别存放在对应GPU上，使得每组∑i∈Sjli, ∀j大致相等。
训练数据分布式实时处理
快手“Persia”的高速GPU训练，需要大量数据实时输入到训练机中，由于不同模型对样本的需求不同，对于每个新实验需要的数据格式可能也不同。快手“Persia”系统具备基于Hadoop集群的实时数据处理系统，可以应不同实验需求从HDFS中使用任意多计算机分布式读取数据进行多级个性化处理传送到训练机。传输使用高效消息队列，并设置多级缓存。传输过程实时进行压缩以节约带宽资源。
未来：分布式多机训练
未来，快手“Persia”系统即将展开分布式多GPU计算机训练。有别于成熟的计算机视觉等任务，由于在广告任务中模型大小大为增加，传统分布式训练方式面临计算机之间的同步瓶颈会使训练效率大为降低。“Persia”系统将支持通讯代价更小，并且系统容灾能力更强的去中心化梯度压缩训练算法。
快手FeDA智能决策实验室负责人刘霁介绍，该算法结合新兴的异步去中心化训练 （Asynchronous decentralized parallel stochastic gradient descent, ICML 2018）和梯度压缩补偿算法（Doublesqueeze: parallel stochastic gradient descent with double-pass error-compensated compression, ICML 2019）， 并有严格理论保证。据预计，快手“Persia”系统在多机情景下在单机基础上将有数倍到数十倍效率提升。
◆
CTA核心技术及应用峰会
◆
5月25-27日，由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开，峰会将围绕人工智能领域，邀请技术领航者，与开发者共同探讨机器学习和知识图谱的前沿研究及应用。议程设置请请识别海报二维码查看。
目前CTA峰会倒计时2天！还没有拿到入场券的小伙伴可以识别海报二维码或者点击阅读原文，即刻抢购。你也添加小助手微信15101014297，备注“CTA”，了解票务以及会务详情。
推荐阅读
海康、大华遭“封杀”！美欲再切断五家安防公司技术供应
ICML 2019接受论文：清华、北大领跑，谷歌强压枝头，BAT略显“低调”
33关Python游戏，测试你的爬虫能力到底及格不？
Python小白数据科学教程：SciPy精讲
中年程序猿图鉴
荣耀 20/20 PRO 全球首发，全系 AI 四摄 DxO 分全球第二！
中国开发者地位渐高? V神二度来京, 竟是为了……
kappa和lambda对比 | 程序员硬核评测
这本京东断货王的Python神书，刷爆整个编程圈！
点击阅读原文，了解「CTA核心技术及应用峰会」
相关文章：
比特币SPV节点启动流程图
2019独角兽企业重金招聘Python工程师标准>>> 比特币SPV节点启动流程图 图小点击右键在新窗口打开 转载于:https://my.oschina.net/penghaozhong/blog/1924687
Android中后台定时任务实现,即时数据同步问题思考!
为什么80%的码农都做不了架构师？>>> 如果你正在找Android后台定时任务实现,那么你找对了,但是其实如果你正在找Java后台任务实现,你就不会找到我的这个博客了.但是我的实现方式没有使用多少Android相关的东西.确实.但是如果你进来了,Thank you!你还是会…
面对996，程序员如何利用“碎片时间”涨薪？
图片来源|视觉中国作为一个程序员，需要不断学习更新知识技能来提升自己。但爆炸式的信息量，总使人抓不到学习重点。所以，笔者为大家筛选了几个程序员会阅读的小众公众号，覆盖全面，囊括了不同的技术类别。小道消息&…
JakartaEE Exception: Invalid bound statement (not found): com.mazaiting.blog.dao.UserDao.selectUs...
异常 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.mazaiting.blog.dao.UserDao.selectUserByNameat org.apache.ibatis.binding.MapperMethod$SqlCommand.<init>(MapperMethod.java:227) ~[mybatis-3.4.6.jar:3.4.6]at org.a…
【Qt】AVFrame转QImage
FFmpeg的AVFrame转成Qt的QImage //头文件 #ifdef __cplusplus extern "C" {#endif #include <libavcodec/avcodec.h> #include <libavcodec/avformat.h>
C# 回发或回调参数无效
回发或回调参数无效。在配置中使用 <pages enableEventValidation"true"/> 或在页面中使用<% Page EnableEventValidation"true" %> 启用了事件验证。出于安全目的，此功能验证回发或回调事件的参数是否来源于最初呈现这些事件的服务…
【QT】Qt正则表达式的使用：使用QRegExp来限制QLineEdit的输入格式
QLineEdit中使用QRegExp来限制输入格式，下面以IP输入框为例 QLineEdit *lineEditIP = new QLineEdit("192.168.147.200", this);QRegExpValidator *reg = new QRegExpValidator(GW::RegExp::ipRegExp(), this)
小小的Python编程故事
现在Python的火热已经不是整个编程界的事情了，Python的火热已经蔓延到小学、大学课程，之前看新闻报道说青岛的小学生课程里都开始设置Python的课程了，大学里由原来必考的VB也改成了Python。一时大家都掀起了学习了Python的热潮，而…
python 验证码识别示例（二） 复杂验证码识别
在这篇博文中手把手教你如何去分割验证，然后进行识别。 一：下载验证码 验证码分析，图片上有折线，验证码有数字，有英文字母大小写，分类的时候需要更多的样本，验证码的字母是彩色的，图…
★核心关注点_《信息系统项目管理师考试考点分析与真题详解》
★核心关注点_《信息系统项目管理师考试考点分析与真题详解》真诚感谢你选用《信息系统项目管理师考试考点分析与真题详解》作为高级项管的辅导用书。对于使用该书的读者们，在备考2012.5.26信息系统项目管理师考试之下午案例分析和论文写作考试时，以下一…
告别低分辨率网络，微软提出高分辨率深度神经网络HRNet | CVPR 2019
来源 | 微软研究院AI头条（ID：MSRAsia）作者简介：孙可，中国科学技术大学信息学院在读博士生，目前在微软亚洲研究院视觉计算组实习，导师是王井东和肖斌老师。他的研究兴趣包括人体姿态估计、语义分…
sudo提权实战讲解 对用户对组的权限配置分析
Linux是多用户多任务的操作系统, 共享该系统的用户往往不只一个。出于安全性考虑, 有必要通过useradd创建一些非root用户, 只让它们拥有不完全的权限; 如有必要，再来提升权限执行。 sudo就是来解决这个需求的: 这些非root用户不需要知道root的密码，就可以…
【Qt】在Ubuntu16.04中安装QSerialPort模块
1、问题描述 在pro中添加：QT serialport 编译时报错：Project ERROR Unknown module(s) in QT:serialport 2、解决方法 安装QSerialPort模块库 sudo apt-get install libqt5serialport5-dev
Velocity文档（3）
2019独角兽企业重金招聘Python工程师标准>>> velocity.properties 的一些配置项 velocimcro.library属性：指定自己的模板库，多个模板库以逗号分隔。默认情况下，velocity查找唯一的一个库：VM_global_library.vmvelocima…
Java 24岁！Google加持的Kotlin真能取代它？
作者 | 屠敏出品 | CSDN（ID：CSDNnews）1995 年 5 月 23 日，Sun 公司在 Sun world 会议上正式宣布了 Java 的到来，从此一代编程语言界的翘楚就此诞生。而在不断地迭代与适配中，今时今日，Java 以需…
三，ES6中需要注意的特性（重要）
-----书接上文，前文中我们总结了关于JS的组成部分以及如何快速开展学习JS，相信已经有很多朋友掌握到这些方法。接下来就从更深的ECMAScript开始说起。 1.什么是ES6? ECMAScript(European Computer Manufacturers Association) 6: 是JavaScript语言的下一…
【SVN】在阿里云上创建svn服务器
1、创建用户及相关设置 阿里云搭建ubuntu18.04工作台，默认只有root超级用户。为了安全起见，我们使用普通用户来创建svn： useradd hello // 创建用户hello mkdir -p /home/hello // 在hello用户的根目录 cd /home/hello chown hello . // 设…
【转】on delete cascade
关系表的级联更新： on update cascade on delete cascade 是级联删除的意思 意思是 当你更新或删除主键表时，那么外键表也会跟随一起更新或删除 CREATE TABLE Countries(CountryId INT PRIMARY KEY) INSERT INTO Countries (CountryId) VALUES (1) INSER…
倒计时1天！CTA核心技术及应用峰会报名通道即将关闭（附参会攻略）
全球智能化趋势当前，人工智能技术正蓬勃发展。为了直击开发者在机器学习与人工智能技术研究与落地过程中的痛点与瓶颈，深入解析机器学习和知识图谱技术在行业中的实践和落地。2019 年 5 月 26 - 27 日，由中国 IT 社区 CSDN 与数字经济人才发展…
【Qt】在QtCreator中使用Ctrl+Shift+f快捷键打开高级查找窗口失效的解决方法
1、问题描述 Win10操作系统环境下，在QtCreator中使用Ctrl+Shift+f快捷键打开高级查找窗口失效。 2、原因分析 Ctrl+Shift+f快捷键在各种输入法中，常用来做中文简体和繁体输入的切换。QtCreator中该快捷键失效的的原因，多半是因为和输入法的快捷键冲突。可以在输入法的快捷…
Python修行之字符串(一):连接、切割、大小写、排版
字符串:1.是由一个个字符组成有序的序列，是字符的集合2.字符串是不可变对象3.使用单引号、双引号、三引号引住的字符序列4.python3中、字符串就是unicode类型、在2中分两种一种unicode一种非unicode字符串元素访问--下标:1.字符串支持使用索引访问2.有序的字符集合&…
UI自动化测试随笔
昨天给开发的同事讲我们正在做的自动化测试，同事问了句：为什么API的测试不需要写代码了，而UI的测试还需要写那么多代码呢？ 能不写代码么？ 目前我们的自动化测试的现状： 目前主要覆盖两个部分：A…
【跃迁之路】【554天】程序员高效学习方法论探索系列（实验阶段311-2018.08.13）...
(跃迁之路)专栏 【跃迁之路】奖励金计划正式开始 从2018.7.1起，【跃迁之路】奖励金计划正式起航，从今以后，， 每月1日，我会将自己个人上月收入的1%计入【跃迁之路】奖励金池，积累到足够金额后，将…
TensorFlow 2.0来了，为什么他却说“深度学习框架之争，现在谈结果为时尚早”？...
记者 | 琥珀出品 | AI科技大本营（ID:rgznai100）半个多世纪前，浙江大学老校长竺可桢曾有两个非常经典的教育问题：“诸位在校，有两个问题应该自己问问，第一，到浙大来做什么？第二&#…
【FFmpeg】ffmpeg工具源码分析（一）：main函数
ffmpeg工具经常用来转换、生成媒体文件，下面是它的源码分析（一）：main函数 ffmpeg版本：4.2.1 int main(int argc, char **argv) {int i, ret;BenchmarkTimeStamps ti; # 用于基准测试init_dynload(); # 初始化动态库加载路径，只在win3
Android之传感器(一)
传感器的种类：1. 动作传感器加速度传感器、重力传感器和陀螺仪（判断手机姿态）等2. 位置传感器方向传感器和磁力传感器3. 环境传感器温度传感器 、压力传感器和亮度传感器 使用传感器的方法：1. 获取SensorManager对象SensorManage…
【Qt】Qt单例模式三种实现
1、饿汉式 在头文件中：将构造函数私有化，并创建静态函数instance来获取实例 class A : public QObject {Q_OBJECT public:static A* instance(QObject *parent = nullptr);private:explicit A(QObject *parent = nullptr); }
程序员敲代码时，戴着耳机究竟在听什么？
今天，某妹子突然凑到我的耳边轻声说：“我们公司的程序员，清一色的戴着耳机，你说他们是不是故意不想听我们提的需求？”我很方，因为我也喜欢戴耳机。（思考ing）思考了一秒钟后ÿ…
关于Oracle.ManagedDataAccess数据库表加字段后，必须重启的问题
关于Oracle.ManagedDataAccess数据库表加字段后，必须重启的问题，解决方法如下：在数据库连接字串中，增加一个参数：Metadata Poolingfalse如“Data Source(DESCRIPTION(ADDRESS_LIST(ADDRESS(PROTOCOLTCP)(HOST1.1.6.200…
配置导出MOSS2010列表数据到Excel并根据列表记录自动刷新数据
第一章 简介 场景描述 根据最近客户的需求，他们需要自动维护MOSS2010列表数据导出到Excel的数据实时同步，就是列表添加记录后，导出的Excel列表自动同步数据过来。 第二章 配置方法 1. 打开MOSS2010站点http://moss:8001的要导出的列表 2. 点【…