可视化深入理解损失函数与梯度下降 | 技术头条
作者 | Hugegene
译者 | 刘畅
责编 | Rachel
出品 | AI科技大本营（id：rgznai100）
【导语】本文对梯度函数和损失函数间的关系进行了介绍，并通过可视化方式进行了详细展示。另外，作者对三种常见的损失函数和两种常用的激活函数也进行了介绍和可视化。
你需要掌握关于神经网络训练的基础知识。本文尝试通过可视化方法，对损失函数、梯度下降和反向传播之间的关系进行介绍。
损失函数和梯度下降之间的关系
为了对梯度下降过程进行可视化，我们先来看一个简单的情况：假设神经网络的最后一个节点输出一个权重数w，该网络的目标值是0。在这种情况下，网络所使用的损失函数为均方误差（MSE）。
当w大于0时，MSE的导数 dy/dw 值为正。dy/dw 为正的原因可以解释为，w中的正方向变化将导致y的正方向变化。为了减少损失值，需要在w的负方向上进行如下变换：
当w小于0时，MSE的导数 dy/dw 值为负，这意味着w中的正方向变化将导致y的负方向变化。 为了减少损失，需要在w的正方向上做如下变换：
因此，权重更新的公式如下：
其中 learning_rate 是一个常量，用于调节每次更新的导数的百分比。调整 Learning_rate 值主要是用于防止w更新步伐太小或太大，或者避免梯度爆炸（梯度太大）或梯度消失的问题（梯度太小）。
下图展示了一个更长且更贴近实际的计算过程，在该计算过程中，需要使用sigmoid激活函数对权重进行处理。为了更新权重w1，相对于w1的损失函数的导数可以以如下的方式得到：
损失函数对权重的求导过程
从上面阐释的步骤可以看出，神经网络中的权重由损失函数的导数而不是损失函数本身来进行更新或反向传播。因此，损失函数本身对反向传播并没有影响。下面对各类损失函数进行了展示：
L2损失函数
MSE（L2损失）的导数更新的步长幅度为2w。 当w远离目标值0时，MSE导数的步长幅度变化有助于向w反向传播更大的步长，当w更接近目标值0时，该变化使得向w进行反向传播的步长变小。
L1损失函数
MAE（L1损失）的导数是值为1或负1的常数，这可能不是理想的区分w与目标值之间距离的方式。
交叉熵损失函数
交叉熵损失函数中w的范围是0和1之间。当w接近1时，交叉熵减少到0。交叉熵的导数是 -1/w。
Sigmoid激活函数
Sigmoid函数的导数值域范围在0到0.25之间。 sigmoid函数导数的多个乘积可能会得到一个接近于0的非常小的数字，这会使反向传播失效。这类问题常被称为梯度消失。
Relu激活函数
Relu是一个较好的激活函数，其导数为1或0，在反向传播中使网络持续更新权重或不对权重进行更新。
相关链接：
https://medium.com/@eugene.chian/visualising-relationships-between-loss-activation-functions-and-gradient-descent-312a3963c9a5
（本文为AI科技大本营编译文章，转载请微信联系 1092722531）
◆
CTA核心技术及应用峰会
◆
5月25-27日，由中国IT社区CSDN与数字经济人才发展中心联合主办的第一届CTA核心技术及应用峰会将在杭州国际博览中心隆重召开，峰会将围绕人工智能领域，邀请技术领航者，与开发者共同探讨机器学习和知识图谱的前沿研究及应用。
更多重磅嘉宾请识别海报二维码查看，目前会议早鸟票发售中（原票价1099元），点击阅读原文即刻抢购。
推荐阅读
硬核粉丝 | 清华双胞胎“YCY Dance Now”杀进超越杯编程大赛决赛
小样，加张图你就不认识我了？“补丁”模型骗你没商量！| 技术头条
Python基础入门_基础语法和变量类型
东大漆桂林、清华李涓子、复旦肖仰华等大牛确认出席CTA峰会！5月一起打卡杭州
京东 60 天哗变！CTO 成优化第一人 | 畅言
异构计算=未来？一文带你秒懂3大主流异构
《互联网人叹气图鉴》
回报率29%! 大神用情感分析创建一个比特币交易算法, 原来交易玩的是心理战
她说：为啥程序员都特想要机械键盘？这答案我服！
相关文章：
【Qt】Linux上设置自启动后qApp-＞applicationDirPath()的返回值问题
1、问题描述 开发程序过程中，使用qApp->applicationDirPath()返回程序所在目录，一直没问题。但是在设置自启动后，qApp->applicationDirPath()返回的目录不是程序所在目录。 2、原因分析 查看qApp->applicationDirPath()官方手册&…
sqlserver 行转列
还写了一篇Linq 实现 DataTable 行转列有时间大家可以看一下 sqlserver把行转成列在我们编码中是经常遇到的我做一个小例子大家看一下 1 --创建一个表 2 create table PayPhoneMoney 3 ( 4 id int identity(1,1), 5 userName Nvarchar(20), 6 payType nvarchar(20)…
Javascript闭包和闭包的几种写法及用途
好久没有写博客了，过了一个十一长假都变懒了，今天总算是恢复状态了。好了，进入正题，今天来说一说javascript里面的闭包吧！本篇博客主要讲一些实用的东西，主要将闭包的写法、用法和用途。 一、什么是闭包和闭…
【GStreamer】使用capsfilter设置x264enc中的profile级别
1、问题描述 在【GStreamer】在x264enc中设置profile级别中，通过设置x264enc的属性，只将profile由high级别切换到main，但是在切换到baseline时，失败了。 2、解决方法 这里使用capsfilter，直接指定x264enc的profile。相关代码如下： // 创建元素 GstElement *h264enc =…
一文帮你梳理清楚：奇异值分解和矩阵分解 | 技术头条
作者 | K. Delphino译者 | Linstancy编辑 | Rachel出品 | AI科技大本营（id：rgznai100）【导读】在推荐系统的相关研究中，我们常常用到两个相关概念：矩阵分解和奇异值分解。这两个概念是同一种算法吗？两者到底…
[转]程序员技术练级攻略
2019独角兽企业重金招聘Python工程师标准>>> 月光博客6月12日发表了《写给新手程序员的一封信》，翻译自《An open letter to those who want to start programming》，我的朋友（他在本站的id是Mailper）告诉我࿰…
聊天机器人落地及进阶实战 | 公开课速记
嘉宾 | 邵浩编辑 | suiling来源 | AI科技大本营在线公开课近年来，聊天机器人技术及产品得到了快速的发展。聊天机器人作为人工智能技术的杀手级应用，发展得如火如荼，各种智能硬件层出不穷。本次公开课中，AI科技大本营联合电子工业…
【GStreamer】官网基本教程学习（basic-tutorial）
目录 下载和编译basic-tutorial-1.c 直接创建管道播放视频basic-tutorial-2.c 创建元件-->装入管道-->连接元件0、gstreamer 函数调用顺序1、元素 videotestsrc 的 pattern 属性详解2、GST_BIN 将其它类型指针转换成 GstBin*basic-tutorial-3.c 信号触发后再连接元件0、g…
IdentityServer4关于多客户端和API的最佳实践【含多类型客户端和API资源，以及客户端分组实践】【中】...
上一篇文章中，我们已经完成了服务端数据库的搭建，本篇主要处理多【传统HTTP】【依赖CORE环境】客户端之间协同在线【SSO】以及不需要SSO的场景处理。 目标： 1）实现多类型客户端接入IdentityServer 后文简称【IDSV】 2）…
WEB SSH Ajaxterm客户端配置(1)
Ajaxterm是一款基于Web的SSH客户端软件，它是采用Python编写的，这也就保证了它能在多种Linux发行版的系统中使用，同时它的安装非常简单。实验环境：Centos 5.5 ip：192.168.20.165pcre-7.8.tar.gzAjaxterm-0.10.tar.gzn…
如何为回归问题选择最合适的机器学习方法？
作者 | 何从庆本文经授权转载自 AI算法之心（id：AIHeartForYou）在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。在之前的文章中，我曾写过一篇《15分钟带你入门sklearn与机器学…
【Qt】获取本地IP（IPv4）
1、问题描述 获取本地IP列表有“127.0.0.1”、IPv4、IPv6等，一般使用IPv4，如何从已经获取的IP列表中挑出IPv4。 2、解决方法 QString ipv4; auto ips = QNetworkInterface::allAddresses(); foreach (auto ip, ipps) {if ( (ip.
2.2元组介绍+字符串操作
元组可以理解为“一旦创建就不能再修改的列表”，所以也叫只读列表 语法：names("A","B","C","D") 他只有两个方法： ①count ②index 字符串操作： 示例：name"chan" 1…
医生再添新助手！深度学习诊断传染病 | 完整代码+实操
作者 | Dipanjan (DJ) Sarkar译者 | Monanfei编辑 | Rachel、Jane出品 | AI科技大本营（id：rgznai100）【导读】文本基于深度学习和迁移学习方法，对疟疾等传染病检测问题进行了研究。作者对疟疾的检测原理以及迁移学习理论进行了介绍…
DIV限制宽度，字符断行，避免变形
代码如下：<div style"width:740px;word-break:break-all;word-wrap:break-word;">参考文章怎么强制限制div宽度转载于:https://www.cnblogs.com/leftfist/archive/2012/02/07/4258078.html
【渗透】node.js经典问题
1.循环问题 当循环调用 require() 时，一个模块可能在未完成执行时被返回。例如以下情况:a.js: exports.done false; const b require(./b.js); console.log(在 a 中，b.done %j, b.done); exports.done true; console.log(a 结束); b.js: console.log…
【Qt】Ubuntu下Qt应用程序自启动设置
1、问题描述 第一步，确保手动启动Qt程序没有报错！如果报以下错误，参见博客 qt.qpa.xcb: could not connect to display qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found. This application failed to s…
Tarjan算法应用 （割点/桥/缩点/强连通分量/双连通分量/LCA(最近公共祖先)问题）...
转载自：http://hi.baidu.com/lydrainbowcat/blog/item/2194090a96bbed2db1351de8.html 基本概念： 1.割点：若删掉某点后，原连通图分裂为多个子图，则称该点为割点。 2.割点集合：在一个无向连通图中࿰…
【JavaScript】Ubuntu16.04安装vscode+npm+yarn
一、安装vscode vscode官网（https://code.visualstudio.com/）下载linux deb文件 下载deb后，使用dpkg -i 命令安装 sudo dpkg -i code_1.45.1-1589445302_amd64.deb在终端执行命令code来启动vscode 二、安装nodejs curl -sL https://deb…
C++大数加法
1 #include <iostream>2 #include<deque>3 #include<string>4 5 using namespace std;6 7 string add(string a, string b) //此函数默认a的长度大于b(可以在main函数里用if语句控制a的长度大于b)8 {9 deque<int>sum; //sum用来存储和的每…
重磅！Facebook更新PyTorch 1.1，打算跨GPU分割神经网络
时隔半年不到，PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚，Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本，这是对 PyTorch 1.0 的一次大的功能升级。 作者 | 琥珀 出品 | AI科技大本营（ID:rgznai100&…
红旗Linux认证简介
红旗Linux认证 一、课程名称：红旗Linux认证产品专家（RAP） 课程简介： 主要针对初次使用红旗Linux desktop的学员而编制，注重实用性，是红旗Linux的一门入门课程。 采用的教材是《红旗Linux桌面应用教程》&…
【Git】git clone时下载速度太慢的解决方法（亲测有效）
1、参考博客 https://www.jianshu.com/p/3f6477049ece2、原因 git clone特别慢是因为github.global.ssl.fastly.net域名被限制了。 只要找到这个域名对应的ip地址，然后在hosts文件中加上ip–>域名的映射，刷新DNS缓存便可。 3、解决方法 3.1 获取I…
JHipster技术简介
本文简单介绍Jhipster是什么，为什么用Jhipster，怎么用Jhipster。 WHAT - 技术栈 JHipster是什么 JHipster是一个开发平台，用于生成，开发，部署Spring Boot Angular/React Web Application和Spring microservices。 JHi…
如何确定最佳训练数据集规模？6 大必备“锦囊”全给你了
【导读】对于机器学习而言，获取数据的成本有时会非常昂贵，因此为模型选择一个合理的训练数据规模，对于机器学习是至关重要的。在本文中，作者针对线性回归模型和深度学习模型，分别介绍了确定训练数据集规模的方法。 作者…
Android实现左右滑动效果
本示例演示在Android中实现图片左右滑动效果。 关于滑动效果，在Android中用得比较多，本示例实现的滑动效果是使用ViewFlipper来实现的，当然也可以使用其它的View来实现。接下来就让我们开始实现这种效果。为了方便大家理解，我们先…
假如AI也会diss人类，他们会这样.....
1酷炫、未来感、强大、没灵气、不给力、垃圾、高深——如果有一个东西适用于以上所有这些词，那它一定是人工智能。人工智能的火爆一直伴随着争议和调侃。尤其是现在，大数据和机器学习已经融入到我们的生活，网上关于人工智障的吐槽却只增不减。…
[Go]在vscode中添加对模板文件tmpl的html语法自动补全的支持
1、打开设置界面 依次点击：“文件” --> “首选项” --> “设置” 2、打开文件配置 依次点击：“文本编辑器” --> “文件” --> “在settings.json中编辑” 3、添加对tmpl后缀文件的html语法自动补全支持 4、效果 html关键字高亮显示…
Docker 宿主机定时清除容器的运行日志
为什么80%的码农都做不了架构师？>>> docker 宿主机定时清除容器的运行日志 一般docker容器都是最小化安装，不仅如此系统定时器相关的服务也不存在，自己去安装也很麻烦，故此直接使用宿主机的定时器即可。 一、在容器中…
企业数据库合规的最佳实践
PCI DSS当前对于数据库要求有下述明确的控制措施： • 对访问任意数据库的所有用户进行认证。 • 所有用户访问任何数据库时，用户的查询和操作（例如移动、拷贝和删除）只能通过编程性事务（例如存储过程）。 •…