梯度中心化，一行代码加速训练并提升泛化能力
来源 | 晓飞的算法工程笔记
优化器(Optimizer)对于深度神经网络在大型数据集上的训练是十分重要的，如SGD和SGDM，优化器的目标有两个：加速训练过程和提高模型的泛化能力。目前，很多工作研究如何提高如SGD等优化器的性能，如克服训练中的梯度消失和梯度爆炸问题，有效的trick有权值初始化、激活函数、梯度裁剪以及自适应学习率等。而一些工作则从统计的角度对权值和特征值进行标准化来让训练更稳定，比如特征图标准化方法BN以及权值标准化方法WN。
与在权值和特征值进行标准化方法不同，论文提出作用于权值梯度的高性能网络优化算法梯度中心化(GC, gradient centralization)，能够加速网络训练，提高泛化能力以及兼容模型fine-tune。如图a所示，GC的思想很简单，零均值化梯度向量，能够轻松地嵌入各种优化器中。论文主要贡献如下：
提出新的通用网络优化方法，梯度中心化(GC)，不仅能平滑和加速训练过程，还能提高模型的泛化能力。
分析了GC的理论属性，表明GC能够约束损失函数，标准化权值空间和特征值空间，提升模型的泛化能力。另外，约束的损失函数有更好的Lipschitzness(抗扰动能力，函数斜率恒定小于一个Lipschitze常数)，让训练更稳定、更高效。
梯度中心化
Motivation
BN和WS使用Z-score标准化分别操作于特征值和权重，实际是间接地对权值的梯度进行约束，从而提高优化时损失函数的Lipschitz属性。受此启发，论文直接对梯度操作，首先尝试了Z-score标准化，但实验发现并没有提升训练的稳定性。之后，尝试计算梯度向量的均值，对梯度向量进行零均值化，实验发现能够有效地提高损失函数的Lipschitz属性，使网络训练更稳定、更具泛化能力，得到梯度中心化(GC)算法。
Notations
定义一些基础符号，使用统一表示全连接层的权值矩阵和卷积层的权值张量，为权值矩阵的第列，为目标函数，和为对和的梯度，与的大小一样。定义为输入特征图，则为输出特征图，为位单位向量(unit vector)，为单位矩阵(identity matrix)。
Formulation of GC
对于卷积层或全连接层的权值向量，通过反向传播得到其梯度，然后如图b所示计算其均值，GC操作定义如下：
也可以将公式1转换为矩阵形式：
由单位矩阵以及单位向量形成矩阵构成，分别负责保留原值以及求均值。
Embedding of GC to SGDM/Adam
GC能够简单地嵌入当前的主流网络优化算法中，如SGDM和Adam，直接使用零均值化的梯度进行权值的更新。
算法1和算法2分别展示了将GC嵌入到SGDM和Adam中，基本上不需要对原优化器算法进行修改，仅需加入一行梯度零均值化计算即可，大约仅需0.6sec。
梯度中心化的性质
下面从理论的角度分析GC为何能提高模型的泛化能力以及加速训练。
Improving Generalization Performance
GC有一个很重要的优点是提高模型的泛化能力，主要得益于权值空间正则化和特征值空间正则化。
Weight space regularization
首先介绍的物理意义，经过推算可以得到：
即可以看作映射矩阵，将映射到空间向量中法向量为的超平面，为映射梯度。
以SGD优化为例，权值梯度的映射能够将权值空间约束在一个超平面或黎曼流形(Riemannian manifold)中，如图2所示，梯度首先映射到的超平面中，然后跟随映射梯度的方向进行更新。从可以得到，目标函数实际变为：
这是一个权值空间的约束优化问题，正则化的解空间，降低了过拟合的可能性(过拟合通常是学习了复杂的权值来适应训练数据)，能够提升网络的泛化能力，特别是当训练样本较少的情况下。
WS对权值进行的约束，当初始权值不满足约束时，会直接修改权值来满足约束条件。假设进行fine-tune训练，WS则会完全丢弃预训练模型的优势，而GC可以适应任何初始权值。
Output feature space regularization
以SGD优化方法为例，权值更新，可以推导得到。对于任何输入特征向量，有以下定理：
相关证明可以看原文附录，定理4.1表明输入特征的常量变化会造成输出的变化，而输出的变化量仅与标量和相关，与当前权值无关。为初始化权值向量缩放后的均值，假设接近0，则输入特征值的常量变化将几乎不会改变输出特征值，意味着输出特征空间对训练样本的变化更鲁棒。
对ResNet50的不同初始权值进行可视化，可以看到权值都非常小(小于)，这说明如果使用GC来训练，输出特征不会对输入特征的变化过于敏感。这个属性正则化输出特征空间，并且提升网络训练的泛化能力。
Accelerating Training Process
Optimization landscape smoothing
前面提到BN和WS都间接地对权值梯度进行约束，使损失函数满足Lipschitz属性，和(的Hessian矩阵)都有上界。GC直接对梯度进行约束，也有类似于BN和WS的属性，对比原损失函数满足以下定理：
相关证明可以看原文附录，定理4.2表明GC比原函数有更好的Lipschitzness，更好的Lipschitzness意味着梯度更加稳定，优化过程也更加平滑，能够类似于BN和WS那样加速训练过程。
Gradient explosion suppression
GC的另一个优点是防止梯度爆炸，使得训练更加稳定，作用原理类似于梯度裁剪。过大的梯度会导致损失严重震荡，难以收敛，而梯度裁剪能够抑制大梯度，使得训练更稳定、更快。
对梯度的 norm和最大值进行了可视化，可以看到使用GC后的值均比原函数要小，这也与定理4.2一致，GC能够让训练过程更平滑、更快。
实验
与BN和WS结合的性能对比。
Mini-ImageNet上的对比实验。
CIFAR100上的对比实验。
ImageNet上的对比实验。
细粒度数据集上的性能对比。
检测与分割任务上的性能对比。
结论
梯度中心化GC对权值梯度进行零均值化，能够使得网络的训练更加稳定，并且能提高网络的泛化能力，算法思路简单，论文的理论分析十分充分，能够很好地解释GC的作用原理。
论文地址：https://arxiv.org/abs/2004.01461
论文代码：
https://github.com/Yonghongwei/Gradient-Centralization
推荐阅读
30名工程师，历时1300天打造，又一“国产”AI框架开源了
PyTorch 1.6、TensorFlow 2.3、Pandas 1.1同日发布！都有哪些新特性？
Python 还能实现图片去雾？FFA 去雾算法、暗通道去雾算法用起来！ | 附代码
程序员必备基础：Git 命令全方位学习
微软直播马上开始，近百岗位等你来，快戳进直播间
相关文章：
Microsoft程序员测试题
原创：onefi http://www.frontfree.net/2003年6月1日 最近大家在网站上看到不少Microsoft的测试题，引来不少的眼光。我在这里把所有的测试题加以整理，再附上自己的答案。（个别题目答案有多种，文本仅代表作者的思路&a…
裸centos安装PCRE时报错解决
2019独角兽企业重金招聘Python工程师标准>>> no acceptable C compiler found in $PATH由于没有gcc的编译环境引起的，yum install gcc就ok unrecognized option -DHAVE_CONFIG_H由于没有gcc-c的编译环境引起的，yum -y install gcc-c 转载于:…
mysql删除开放用户权限
来访用户ODBC 1,在本地的cmd中用root用户进入mysql2,创建一个ODBC的用户create user ODBClocalhost;查看用户是否创建成功select user,host from mysql.user;3,将所有的权限开放给ODBC用户grant all on *.* to ODBClocalhost;查看ODBC用户的权限show grants for ODBC localhost…
AI不止能美颜，美妆迁移这样做 | 赠书
本文内容节选自《深度学习之人脸图像处理：核心算法与案例实践》，作者言有三。美颜和美妆是人脸中很常见的技术，在网络直播以及平常的社交生活中都有很多应用场景。本文重点介绍的是人脸妆造迁移的核心技术及其相关资源。想要了解关于深度学习…
ASP.Net中自定义Http处理及应用之HttpModule篇
HttpHandler实现了类似于ISAPI Extention的功能，他处理请求(Request)的信息和发送响应(Response)。HttpHandler功能的实现通过实现IHttpHandler接口来达到。而HttpModule实现了类似于ISAPI Filter的功能。 HttpModule的实现HttpModules实现了类似于ISAPI Filter的功…
未处理的异常导致基于 ASP.NET 的应用程序意外退出
问题具体见：http://q.cnblogs.com/q/34874/ 相应站点的w3wp.exe 会意外终止 EventLog中的信息： An unhandled exception occurred and the process was terminated. Application ID: DefaultDomain Process ID: 43644 Exception: System.Runtime.Seri…
Git 执行更改
Jerry 克隆库，他决定实现基本字符串操作。于是，他创建文件string.c，在添加内容到 string.c 会这个样子。 #include <stdio.h> int my_strlen(char *s) { char *p s; while (*p) p; return (p - s); } int main(void) { int i; char *s…
静态属性和静态方法2 - C++快速入门22
静态属性和静态方法2 让编程改变世界 Change the world by program 静态方法 嗯，还是静态方法？！这阵子有鱼油表示对该方法的特色还是有点云里雾里还有那个神神兮兮的this指针。。。 所以小甲鱼保持务必让你彻底领悟的精神继续和大家探讨&…
浅析.Net共享程序集编程
作者：宋华 赛迪网Net结构里的程序集Assembly是自我描述的安装单元，它在应用程序域(AppDomain)中运行。您必须首先将程序集加载到应用程序域中，然后才能运行该应用程序，并且，同一程序集可以加载到多个应用程序域中&a…
“崩溃！我再也不搞 AI 了”谷歌 AI 专家：别让你的方法打败你！
今天，想跟大家聊聊 Python 人工智能。最近几年，我看过市面上很多 Python和人工智能的教程，基本都是先介绍Python基本语法、dict、tuple 等基本库的使用，最后学习机器学习、深度学习的常用算法......但我与 Google 人工智能开发专家…
Spring MVC 相关资料整理
来源于：http://www.cnblogs.com/ylhssn/p/4062757.html 1、概述 Spring MVC是一种基于Java实现MVC设计模式的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行解耦，基于请求-响应模型帮助我们简化日常web系统的…
Wireless-N Configuration
Wireless-N Configuration/Zh CnContents [hide]1 关于Wireless N的一般信息2 基本设置2.1 20 MHz vs 40 MHz2.1.1 2.4GHz频段的描述2.1.2 2.4GHz频段表2.2 无线安全设置2.3 高级设置3 Problems and Resolution3.1 Actual Speeds3.2 Testing3.3 Device Drivers4 Device Specifi…
为.Net程序集添加资源
作者：宋华 本文选自：赛迪网 2002年12月06日 在.Net结构中，程序集Assembly(也称着程序集或托管Dll)是自我描述的安装单元，它可以只包括一个PE（可移植可执行）格式的Dll或exe文件，也可以由多…
这5个 AI 用例，转变了传统商务沟通
作者｜Lanre Onibalusi译者 |天道酬勤，责编 | 晋兆雨封图 | CSDN 付费下载自视觉中国很少有人会想到这样一种情景：世界上几乎有一半的国家处于封锁状态（可能长达数周或几个月），并且大多数人的工作能力也受到…
cocos2dx 3.x(动态改变精灵的背景图片)
//更换精灵CCSprite的图片有两种方式。 //直接通过图片更换 //使用setTexture(CCTexture2D*)函数，可以重新设置精灵类的纹理图片。 // auto bg Sprite::create(); Texture2D* texture Director::getInstance()->getTextureCache()->addImage("bg2.png&…
如何在.NET中创建服务型组件
作者：张劲松 本文选自：赛迪网 2002年12月03日 对于在WINDOWS上作过一些开发的程序员来说，COM＋应该是不会感到陌生的吧。COM＋代表了Microsoft在COM技术平台上的最高水平，也是Microsoft藉以和J2EE抗衡的…
flex viewstack的简单应用
1 Flex API里面介绍viewstack： MX ViewStack 导航器容器由一组彼此上下堆叠的子容器组成，其中一次只可以显示一个子容器。选择另一个子容器后，它将显示在原来子容器的位置处，所以看起来好像此子容器替换了原来的子容器。…
在线等：“实习拿到两个不太好的offer，去腾讯还是去阿里？”
“你永远都不知道明天和‘公司的意外’哪个先来。”疫情期间，这是我们最战战兢兢的心情。但是显然，有些人体会不了。这份行业数据，让笔者“柠檬”了。1疫情下，有的公司宣布破产有的公司增长413%疫情期间，人工智能的价值…
如何成功地在亚洲植入敏捷和DevOps
\关键要点\\首先要植入西方文化的要素。\\t使用价值流映射有助于打破文化障碍。\\t让上层管理者参与进来。\\t黑客节（Hackfest）将有助于减少前置期时间。\\t理解文化差异的影响。\\\我读过的一篇文章说Scrum并不适合于亚洲。作者所说的非常正确ÿ…
浅析．Net下的AppDomain编程
作者：宋华 发文时间：2002 我们知道，进程是操作系统用于隔离众多正在运行的应用程序的机制。在．Net之前，每一个应用程序被加载到单独的进程中，并为该进程指定私有的虚拟内存。进程不能直接访问物理内存&…
AI 医生正式上岗了？AI 医疗结合迎爆发点！
作者 | 硬核云顶宫责编 | 晋兆雨封图 | CSDN 付费下载自视觉中国这些年，人工智能应用于医学界是非常热的话题。在医学三大杂志——新英格兰医学杂志、柳叶刀、JAMA上，AI与医疗相结合的论文，占比越来越高。其中最明显的趋势是将医生从繁重的诊…
Android之解析Android Map地图返回的Json数据
先上一下需要解析的Json数据：{"results" : [{"address_components" : [{"long_name" : "荔湾区","short_name" : "荔湾区","types" : [ "sublocality", "political" ]}…
9成P2P平台面临出局，千亿资本何去何从？
【阅读原文】作者：楠沨据研究院数据中心统计，截至2016年10月底，我国 P2P贷款余额已经攀升至7,470亿元左右，环比增长6.0%。进入10月份百强榜的平台，其贷款余额总计3,275亿元，占到整个行业的44%；榜…
关于Transformer，那些的你不知道的事
作者 | 小莫来源 | 阿泽的学习笔记（ID: aze_learning）引言本博客主要是本人在学习 Transformer 时的「所遇、所思、所解」，通过以 「十六连弹」 的方式帮助大家更好的理解该问题。十六连弹为什么要有 Transformer?Transformer 作用是什么&am…
用ASP.NET上传大文件
作者：思归 微软MVP http://blog.joycode.com/saucer/我们在上传大文件时都遇到过这样或那样的问题。设置很大的maxRequestLength值并不能完全解决问题，因为ASP.NET会block直到把整个文件载入内存后，再加以处理。实际上，如果…
中国最齐全的主要电子商务网站(B2C)
中国最齐全的主要电子商务网站(B2C)------[连载之电子商务网站架构]访问量超过100万的电子商务网站技术架构版本：V1出处：http://jimmyli.blog.51cto.com/ 我站在巨人肩膀上Jimmy Li作者：Jimmy Li关键词：中国 电子商务 网站 B2C连接…
怎么安装MYSQL5.0的JDBC驱动
1、下载mysql for jdbc driver. http://dev.mysql.com/downloads/connector/j/3.1.htmlMySQL Connector/J is distributed as a .zip or .tar.gz archive containing the sources and class files as well as a class-file only "binary" .jar archive named "…
ASP.NET中的事务处理和异常处理
刘彦青编译 来自：yesky 使用SQL-Transaction类和.NET提供的异常处理机制，我们就能够以一种可靠的方式处理数据库运行中的问题和发现系统异常。这篇小文章将解释事务处理和异常处理的概念和用法。 什么是事务？ 事务处理是由以一个单一的…
2020年AI产业报告：100个岗位抢1个人，计算机视觉成最大缺口
“你永远都不知道明天和‘公司的意外’哪个先来。”疫情期间，这是我们最战战兢兢的心情。但是显然，有些人体会不了。这份行业数据，让笔者“柠檬”了。1疫情下，有的公司宣布破产有的公司增长413%疫情期间，人工智能的价值…
.NET Winform也能画出类似QQ、飞信这样的窗口风格和控件效果
MPN企业宝智能升级程序界面采用.NET的Winform技术，并没有延续企业宝主程序的绘制界面技术——WPF。直接采用Winform实现类似QQ和飞信的窗口风格比较困难，WPF好在还有一个Blend设计工具，而Winform只能靠自己一个一个像素去对齐、去仔细看&…