简单的特征值梯度剪枝，CPU和ARM上带来4-5倍的训练加速 | ECCV 2020
作者 | VincentLee
来源 | 晓飞的算法工程笔记
在训练过程中，特征值梯度的回传和权值梯度的计算占了大部分的计算消耗。由于这两个操作都是以特征值梯度作为输入，而且零梯度不会占用计算资源，所以稀疏化特征值梯度可以降低回传阶段的计算消耗以及内存消耗。论文的目标在于高效地降低训练负载，从而在资源有限的平台进行大规模数据集的训练。
本论文假设特征值梯度服从正态分布，基于此计算阈值，随后使用随机剪枝算法(stochastic pruning)将小于阈值的特征值梯度随机置为零或。经理论推理和实验证明，这种方法不仅能够有效地稀疏化特征值梯度，还能在加速训练的同时，不影响训练的收敛性。
General Dataflow
卷积层通常包含4个阶段：推理、特征值梯度回传、权值梯度计算和权值更新。为了表示这些阶段的计算，论文定义了一些符号：
卷积层的四个训练阶段的总结为：
论文通过可视化发现，回传阶段的特征值梯度几乎全是非常小的、接近于零的值，自然而然地想到将这些值去掉不会对权值更新阶段造成很大的影响，所以论文认为剪枝特征值梯度能够加速卷积层在训练时的计算。
Sparsification Algorithms
Distribution Based Threshold Determination (DBTD)
剪枝操作最关键的步骤是决定选择哪些元素进行消除，先前有研究使用最小堆进行元素选择，但这会带来较大的额外计算开销。为此，论文采用简单的阈值过滤进行元素选择。
论文首先分析了两种经典的卷积网络结构的特征值梯度分布：Conv-ReLU结构和Conv-BN-ReLU结构：
对于Conv-ReLU结构，输出的特征值梯度是稀疏的，但其分布是无规律的，而结构的输入特征值梯度几乎全是非零值。通过统计发现，的分布以零值对称分布，且密度随着梯度值的增加而下降。
对于Conv-BN-ReLU结构，BN层设置在卷积层与ReLU层中间，改变了梯度的分布，且的分布与类似，。
所以，上述的两种结构的梯度都可认为服从零均值、方差为的正态分布。对于Conv-ReLu结构，由于ReLU不会降低稀疏性，能够继承的稀疏性，将是作为Conv-ReLU结构中的剪枝目标梯度。而对于Conv-BN-ReLU结构，则将作为剪枝目标。这样，两种结构的剪枝目标都可统一为正态分布。假设的数量为，可以计算梯度的绝对值的均值，并得到该均值的期望为：
这里的期望为从分布中采样个点的期望，而非分布的整体期望，再定义以下公式
将公式2代入公式1中，可以得到：
从公式3可以看出为参数的无偏估计，接近于真实的均值，且的整体计算消耗是可以接受的。基于上面的分析，论文结合正态分布的累积函数、剪枝率和计算阈值：
Stochastic Pruning
剪枝少量值较小的梯度几乎对权值的更新没有影响，但如果将这些值较小的梯度全部设为零，则会对特征值梯度的分布影响很大，进而影响梯度更新，造成严重的精度损失。参考Stochastic Rounding算法，论文采用随机剪枝来解决这个问题。
随机剪枝逻辑如算法1所示，对于小于阈值的梯度值，随机采样一个缩放权重来计算新阈值，再根据新阈值将梯度值置为零或。
随机剪枝的效果如图2所示，能够在保持梯度分布的数学期望的情况下进行剪枝，与当前的方法相比，论文提出的方法的优点如下：
Lower runtime cost：DBTD的计算复杂度小于top-k算法，且DBTD对硬件更友好，能够在异构平台实现。
Lower memory footprint：随机裁剪能保持收敛性，且不需要存储而外的内存。
至此，Sparsification Algorithms在梯度回传时的特征值梯度计算为：
实验结果
在CIFAR-10、CIFAR-100以及ImageNet上进行准确率验证。
在CIFAR-10和ImageNet上进行收敛性验证。
在不同的设备上进行加速效果验证。
结论
论文通过DBTD方法计算过滤阈值，再结合随机剪枝算法对特征值梯度进行裁剪，稀疏化特征值梯度，能够降低回传阶段的计算量，在CPU和ARM上的训练分别有3.99倍和5.92倍的加速效果。
论文提出的特征值稀疏化算法看似很简单，其实进行了充分的理论推导以及实验验证，才得到最终合理的过滤方法，唯一可惜的是没在GPU设备上进行实验验证。论文对算法的收敛性以及期望有详细的理论验证，不过这里没有列出来，有兴趣的可以去看看原文。
论文地址：
https://arxiv.org/abs/1908.00173
更多精彩推荐
Get了！用Python制作数据预测集成工具 | 附代码
赠书 | 人工智能识万物：卷积神经网络的前世今生
万字长文总结机器学习的模型评估与调参 | 附代码下载
“Talk is cheap, show me the code”你一行代码有多少漏洞？
科普 | 定义 Eth2.0 中的验证者质量
相关文章：
获得汉字字符串拼音首字母
作者：iwebsms的专栏 返回给定字符串的首字母Function IndexCode(ByVal IndexTxt As String) As StringDim i As IntegerFor i 1 To IndexTxt.LengthIndexCode IndexCode & GetOneIndex(Mid(IndexTxt, i, 1))NextEnd Function得到单个字符的首字母Private Func…
使用HTTP模块扩展 ASP.NET 处理
HTTP 模块是一个通过实现实现 IHttpModule 接口和处理事件，在每次针对应用程序发出请求时调用的程序集。HTTP 模块作为 ASP.NET 请求管线的一部分调用，能够在整个请求过程中访问生命周期事件。因此，HTTP 模块使我们有机会检查传入和传出的请求…
angular指令ng-class巧用
什么是ng-class ng-class最大的妙用就是可以根据你的逻辑表达式。来添加或移除对应的class ng-class是angular.js里面内置的一个指令。 项目中，有时候，我们需要根据需求来切换不同的class function bb($scope){$scope.ss"className"; } <…
小冰拉开人生第二幕：AI时代的“Office”问世，你的虚拟男友“复活”了
作者 | Just出品 | AI科技大本营（ID:rgznai100）2014年，小冰正式推出第一代产品，以对话式聊天机器人形式迅速积累训练数据。2020年8月20日，已从微软独立分拆的小冰团队宣布，第八代小冰“出炉”了。小冰团队表…
如何复制一个目录里面的所有目录和文件
作者： cuike519的专栏 http://blog.csdn.net/cuike519/本文介绍如何将一个目录里面的所有文件复制到目标目录里面。 下面介绍几个我们在该例程中将要使用的类： 1、Directory：Exposes static methods for creating, moving, and enumeratin…
ArcGIS问题：如何定义坐标系
一般情况下，我们在利用ArcCatalog建立shp文件的时候就会把相应的坐标系定义好。 具体做法就是鼠标右键单击选择属性，即可编辑其坐标系了（方法在：http://gisman.blog.163.com/blog/static/3449338820096134452166/ 投影坐标的定…
Unity3D 材料
为什么80%的码农都做不了架构师？>>> http://docs.unity3d.com/Manual/index.html http://www.maiziedu.com/course/u3d/ http://pan.baidu.com/share/home?uk2217874598#category/type0 http://www.devsiki.com/2015/10/08/indiegamedeveloper.html ht…
12 种方式轻松实现 Ruby 调用
作者 | Gregory Witek译者 | 弯月，责编 | 王晓曼头图 | CSDN 下载自东方IC出品 | CSDN（ID：CSDNnews）以下为译文：最近，与同事聊天的时候，我们谈到了有关 Python 编程的某些方面。我们开玩笑说 Py…
如何实现可以带详细表格的DropDownList
作者： cuike519的专栏 http://blog.csdn.net/cuike519/本文详细介绍了如何实现在点击DropDownList的时候弹出DataGrid，然后从DataGrid里面选择相应的项。很早就发现在网上有很酷的下拉选择框，今天我在这里也写一个，该方法旨在说…
在数据库组件中用业务规则剖析挑选数据
2019独角兽企业重金招聘Python工程师标准>>> 直接去 techsmith 吧 http://www.screencast.com/t/6o6iWQac 转载于:https://my.oschina.net/ychenIntegration/blog/61634
如果根据日志去禁用user_agent
查看user_agent打开日志文件 cat /usr/local/apache2/logs/test.com-access_20161111_log如何不显示chrome和curl的日志1.打开虚拟主机配置文件vi /usr/local/apache2/conf/extra/httpd-vhosts.conf添加一代代码<IfModule mod_rewrite.c>RewriteEngine onRewriteCond %{H…
c库的rand/random随机数产生函数性能差？
有网文称c标准库的rand/random随机数产生函数性能极差。一直信以为真，但从没做过验证。最近因其他因缘，写了些代码专门验证rand/random的性能。结果大出意料，颠覆之前的成见。 结论如下： 1) rand/random性极佳。在64位机器上&…
如何实现立体的DataGrid和具有Windows效果的图片按钮
作者： cuike519的专栏 http://blog.csdn.net/cuike519/下文将为您演示如何将DataGrid实现为一个立体的表格，以及如何实现在Image按钮中实现立体感的效果。为了完成上面的内容我们首先要对CSS的自定义样式有所了解，然后就是一些简单的js代码…
用 Python 详解《英雄联盟》游戏取胜的重要因素！
作者 | DeepHub IMBA责编 | 王晓曼介绍在过去的几年里，电子竞技社区发展迅速，曾经只是休闲娱乐的电子竞技产业，到2022年有望创造18亿美元的收入。虽然在这个生态系统中有很多电子游戏，但很少有游戏像《英雄联盟》那样成为社区的主…
用户输入一个数字，找到所有能够除尽它的数的总个数
想不到我这个小学生也会做 <!DOCTYPE html><html lang"en"><head> <meta charset"UTF-8"> <title>Document</title> <script type"text/javascript"> //用户输入一个数字，找到所有能够除…
如何在DataGrid里面使用动态图形表示数字
作者： cuike519的专栏 http://blog.csdn.net/cuike519/本文将要简单的介绍如何在DataGrid里面用图形表是一个数字，听起来好象要用到GUI的编程，其实不然，如果你读完全文你就会发现其实很简单，只是一个“小把戏”而已…
替换 RHEL5的yum源为CentOS5源，亲测线上系统可用
最近安装nagiospnp，各种依赖包啊。rrdtool肿么装的这么费劲，后来实在扛不住了，还是修改rhel的源吧，把yum源搞成centos的不就ok了！哈哈。然后就从网上一顿猛搜，发现“Ayou”老师的文章很靠谱，很有…
如何使用 Python 构建推荐引擎？
作者 | Craig Kerstiens译者 | 弯月，编辑 | 王晓曼头图 | CSDN 下载自东方IC来源 | CSDN（ID：CSDNnews）我非常喜欢数据。数据可以告诉你用户在干什么，还可以提供各种深刻的见解。数据应用的一个方面就是根据历史记录或用…
LVM 类型的 Storage Pool - 每天5分钟玩转 OpenStack（8）
http://www.cnblogs.com/CloudMan6/p/5277927.html LVM 类型的 Storage Pool - 每天5分钟玩转 OpenStack（8）LVM 类型的 Storage Pool不仅一个文件可以分配给客户机作为虚拟磁盘，宿主机上 VG 中的 LV 也可以作为虚拟磁盘分配给虚拟机使用。不过…
.NET中的密码学--对称加密
作者：未知 介绍 在.NET之前，使用非托管的Win32APIs加密解密数据是一件非常痛苦的事情。为了这个加密解密的目的，.NET配置了一组类（和命名空间）。现在你有很多类可以使用每种不同的算法保护你的数据。在.NET里面Crypt…
哪种编程语言最适合初学者？
经常听到有人在说：“现在技术迭代越来越快，程序员的压力更大了，30岁之后的程序员就不好找工作了......”，这不乏很多人在故意贩卖焦虑，但是也会引起我们对自己发展的思考。尤其刚入行的程序员会迷茫，会思考…
地址本在不同手机间的迁移
更换手机时最烦人的莫过于迁移地址本了，近来又迎来了换工作，换手机，先将地址本迁移的方法总结如下： 1）通用方法 功能手机上不能自己写程序的话，迁移起来没有什么好办法，只能先把地址本复制到SIM…
关于flume配置加载（二）
为什么翻flume的代码，一方面是确实遇到了问题，另一方面是想翻一下flume的源码，看看有什么收获，现在收获还谈不上，因为要继续总结。不够已经够解决问题了，而且确实有好的代码，后续会继续慢慢分享…
为什么深度神经网络这么难训练？| 赠书
导读：本文内容节选自《深入浅出神经网络与深度学习》一书，由Michael Nielsen所著，他是实验媒体研究工作室的联合创始人，曾是 YC Research 的 Research Fellow。。本书深入了讲解神经网络和深度学习技术，侧重于阐释深度…
dhcp 搭建
自带rpm包安装：# mount /dev/cdrom /media 挂载 # cd /media/Server/ 进入目录 # rpm -ivh dhcp-3.0.5-18.el5.i386.rpm 安装DHCP # cp /usr/share/doc/dhcp-3.0.5/dhcpd.conf.sample /etc/dhcpd.conf …
锦上添花DataGrid！
作者： cuike519的专栏 http://blog.csdn.net/cuike519/我们知道如果datagrid的宽度比较长那么使得我们很难分清楚行数据，也就是很容易 使我们看错行，我想如果当我们的鼠标移动到datagrid的行上，他可以清楚的显示给 我们就好了…
linux服务器优化1.0版
1.服务器修改IP vim /etc/sysconfig/network-scripts/ifcfg-eth12.修改dns服务器 vim /etc/resolv.conf 3.关闭selinux vim /etc/selinux/config 4.修改主机名iZ118z08 vim /etc/sysconfig/network5.禁用control-alt-delete vim /e…
给DataGrid添加确定删除的功能
给DataGrid添加确定删除的功能DataGrid的功能我想大家是知道的，我在实际的应用中遇到如下的问题，客户要求在删除之前做一次提示。类 似于windows。首先我们都知道DataGrid支持删除的功能，我们可以向DataGrid里面添加删除列就可以实现&#x…
操纵神经元构造后门，腾讯朱雀实验室披露AI模型新型攻击手法
近日，在第19届XCon安全焦点信息安全技术峰会上，腾讯朱雀实验室首度公开亮相。这个颇有神秘色彩的安全实验室专注于实战攻击技术研究和AI安全技术研究，以攻促防，守护腾讯业务及用户安全。会上，腾讯朱雀实验室高级安全研…
工程师进阶之路（四）
转载自 量子恒道官方博客 地址：http://blog.linezing.com 如何和“老板”沟通 我们是一线工程师的时候，和我们的直接技术管理者沟通是非常容易的。我们的技术架构、代码风格、系统扩展性、工程化全局考虑就是我们赢得信任和信赖的名片。但是随着我们的…