脱离公式谈谈对反向传播算法的理解
机器学习的训练过程可看作是最优化问题的求解过程。
根据原理
对于函数f(x),如果f(x)在点xt附近是连续可微的，那么f(x)下降最快的方向是f(x)在xt点的梯度的反方向
得到最简单最常用的优化算法：梯度下降法(Gradient Descent Method)。
可以想见，这个算法的迭代公式中的重要参数是梯度。即损失函数(多元函数)对每个变量的偏导数。
问题转化为损失函数对权重向量和偏置求偏导数。
再根据导数的链式法则，两个偏导数都变成误差项和另一个导数的乘积。
这里的误差项，写法上是损失函数对所在层线性组合函数(判别函数)求导。
误差项是反向传播的核心概念。
从意义上，误差项反映了最终损失对某一层神经元的敏感程度，也间接反映了不同神经元对网络能力的贡献程度。
从计算上，把误差项再利用链式法则进行展开，会发现：
误差的反向传播(BackPropagation,BP)：第l层的误差项可以通过第l+1层的误差项计算得到。
如果把这个展开式描述一下，就得到了反向传播算法的含义：
第l层的一个神经元的误差项是所有与该神经元相连的第l+1层的神经元的误差项的权重和，再乘上该神经元激活函数的梯度。
注意：误差项的计算仅仅是训练过程的一部分，其余的量都是正向得到的。
参考：邱锡鹏 《神经网络与深度学习》
相关文章：
如何在Form中使用键弹性域（Key Flexfield）
在应用弹性域之前必须先定义弹性域，定义之前必须先注册表列。如果你的弹性域已经在Oracle Application Object Library中已经定义和注册了，并且弹性域表和列已经在数据库中存在，则忽略1、2、3步骤，适用于关键性也适用于描述性弹性…
什么是SOLID原则（第3部分）
让我们从最后一个 SOLID 原则开始吧，即依赖倒置原则（Dependency Inversion Principle，简称 DIP）（不要和依赖注入Dependency Injection ，DI 弄混淆了）。这个原则所说的是高级模块不应该依赖具象的…
李彦宏,韩寒等入围本年度《时代百人》候选名单
美国《时代》杂志周六（4月3日）公布了2010年度 “百位全球最具影响力人物”的200名候选人名单,其中中国最大网络搜索公司“百度”总裁李彦宏也以成功企业家入围候选人,同时入围的还有年仅27岁的80后作家韩寒。 其它“全球最具影响力人物”候选人名单中还包…
win10如何查看NVIDIA驱动的版本
入口 输入：控制面板 选择：硬件和声音 选择NVIDIA控制面板 点击小房子图标 看到版本是391.25
vb中5种打开文件夹浏览框的方法总结(转)
代码 众所周知，在vb中如果是打开某一个文件的话，非常简单，使用CommonDialog组件即可轻松完成，但是他只能选择文件，之后或许选取的文件路径，而如果想要浏览文件夹，就没这么方便了。这里介绍3个办…
R语言文摘：Subsetting Data
原文地址：https://www.statmethods.net/management/subset.html R has powerful indexing features for accessing object elements. These features can be used to select and exclude variables and observations. The following code snippets demonstrate ways…
Ubuntu系统
1. Ubuntu 14.04 LTS安装 直接从官网下载Ubuntu14.04.2LTS http://www.ubuntu.com/download/desktop (你也可以下载最新的14.10---据说改变不大) 个人采用的是U盘安装,用了UltraISO这款软件(百度软件中心中便有---可以不破解试用来完成目的):具体流程: UltraISO上端文件打开,将…
win10下Anaconda如何查看PyTorch版本
以管理员身份打开Anaconda Powershell Prompt 按顺序输入以下三行命令即可
6年iOS开发程序员总结组件化—让你的项目一步到位
纯个人学习笔记分享, 不喜勿喷,自行取关! 技术不缺乏缔造者,网络不缺乏键盘侠,但缺乏分享技术的源动力! 近几年组件化大家吵的沸沸扬扬的，它其实也不是什么黄金圣衣，穿上立马让你的小宇宙提升几个档次，也不是海皇的三叉戟，入手就能…
处理问题的方法－－抽象和特例化
事实上我们在软件开发的过程中总是：遇到问题，解决问题，这么一个 简单的过程。处理一般类似问题的时候，我们经过抽象，有的提取算法，有的提取结构，有的提取流程等等，这样的过程可以简单…
121-Best Time to Buy and Sell Stock
题目： Say you have an array for which the ith element is the price of a given stock on day i. If you were only permitted to complete at most one transaction (ie, buy one and sell one share of the stock), design an algorithm to find the maximum p…
控制行输入以下两句命令16倍速播放青年大学习
//得到视频标签 playRate document.getElementsByTagName(video); //改变播放速率 playRate.Bvideo.playbackRate 16;
ios 8+ (xcode 6.0 +)应用程序Ad Hoc 发布前多设备测试流程详解
我们开发的程序在经过simulator以及自己的iOS设备测试后，也基本完成应用程序了，这时候我们就可以把它发布出去了更更多的人去测试，我们可以在iOS平台使用ad hoc实现。 你在苹果购买的开发者会员账号，允许100台设备和你的账号关联。…
SHELL训练营--day5__shell脚本（1）
shell脚本意义 shell是一种脚本语言，具备计算机语言的基本特点：逻辑判断、循环、自定义函数等。shell脚本 主要使用 linux系统的命令，来实现特定目的。可用于自动化运维，提长运维效率。 shell脚本基本结构和运行方法 shell脚本名字…
让程序主窗口不显示在任务栏中
// 这样一句就能搞定了 在Form创建是调用 procedure TfrmWaitWindow.FormCreate(Sender: TObject); begin SetWindowLong(Application.Handle,GWL_EXSTYLE,WS_EX_TOOLWINDOW); end; 相关方法1 Application.Initialize; Application.CreateForm(TForm1, Form1); Application.S…
查缺补漏 | Python控制结构
1. if 表达式的简介写法 x if E else y 意思是如果条件表达式E成立，执行x，否则执行y 等价于 if E：x else:y 2. Python的while循环和其他语言相似(只是少了大括号)，但是for循环区别大很多 for iter_var in iterable_object: sui…
Android学习——R文件丢失异常原因汇总
Console报错：R.java was modified manually! Reverting to generated version! 引言: R文件丢失异常在java开发中是个比较常见的异常，造成这个异常的原因可能非常微小，但是给Android开发者们造成的麻烦可是巨大的，当程序员们费尽千…
举个栗子看如何做MySQL 内核深度优化
2019独角兽企业重金招聘Python工程师标准>>> 本文由云社区发表 作者介绍：简怀兵，腾讯云数据库高级工程师，负责腾讯云CDB内核及基础设施建设；先后供职于Thomson Reuters和YY等公司，PTimeDB作者，曾…
Ubuntu--开启TELNET服务
1 sudo apt-get install xinetd telnetd 安装成功后，系统也会有相应提示， 测试安装完之后就可以Telnet，要是还不行继续 2 sudo vi /etc/inetd.conf 并加入以下一行 telnet stream tcp nowait telnetd /usr/sbin/tcpd /usr/sbin/in.telnetd …
Python的range()函数
如果想产生一个等差数列，用range()函数再合适不过。 range()函数可以有起始值、终值、步长三个参数。 range(start 0,end,step 1) 但是起始值和步长是可以缺省的。起始值的缺省值是0，步长的缺省值是1。 起始值被包含，终值不包含。 为了方…
C++链式继承
继承，对于学习C的每一个人来说，都不会陌生。在Qt的开发中，如果你需要对一个无边框的界面支持move操作，那么你就得通过继承重写虚函数来实现，这并不难，但如果我还需要对一个按钮支持移动，一般情况…
调度框架学习笔记（3）—— 集群调度框架的架构演进过程
本章是 The evolution of cluster scheduler architectures 文章的学习笔记。这篇文章讨论了这些年调度架构是如何发展的以及为什么会这样发展。 首先介绍一下这篇文章的作者：Malte Schwarzkopf，他目前在 MIT 的 PDOS实验室 作博士后，说起作者…
查缺补漏 | Python自定义函数
1 默认参数要放在自定义函数参数列表的最后，也就是说下面的定义是不允许的 2 调用函数时熟悉的是位置参数，但是也可以用关键字参数，也就是调用时把参数名写出来(可以通过它来改变参数的顺序)。不过貌似系统定义的函数不能用关键字参数&#x…
ZBar与ZXing使用后感觉
[原]ZBar与ZXing使用后感觉（上） 2014-3-18阅读2011 评论1 最近对二维码比较感兴趣，还是那句老话，那么我就对比了一下zxing和zbar 如果对于这两个的背景不了解的话，可以看我以前的文章，介绍了几个比较基础的…
X-UA-Compatible
X-UA-Compatible是IE8的一个专有<meta>属性，它告诉IE8采用何种IE版本去渲染网页，在html的<head>标签中使用。可以在微软官方文档获取更多介绍。 在IE8刚推出的时候，很多网页由于重构的问题，无法适应较高级的浏览器&a…
[转]【 视频 】PAR、DAR和SAR都是啥
原地址:http://blog.yikuyiku.com/?cat3 PAR —— Pixel Aspect Ratio 像素纵横比DAR —— Display Aspect Ratio 显示纵横比SAR —— Sample Aspect Ratio 采样纵横比 16：9和4：3指的是DAR，DAR和SAR之间没有必然联系。横向上的像素数目/纵向…
登高自卑 | 我的NumPy笔记
注：以下内容来自NumPy中文网 1 NumPy的矢量化和广播两个特征是大部分功能的基础。 矢量化让代码更接近标准的数学符号，更Pythonic，隐藏了所有的显示循环(幕后是C在做显示循环)。 广播即操作的隐式逐元素行为，不仅仅局限于算数运…
TI IPNC Web网页之网页修改教程
web网页程序修改 打开gStudio之后，点击菜单栏中Help->Contents。先把这个诡异的编程语言看一遍吧。这里搬一些东西出来。 GoDB简介 从第一副图片中，我们可以看出，从源文件到可执行文件的过程。 从第二幅图我们可以了解到GoDB是如何跨平台的…
Spring Cloud构建分布式电子商务平台：服务消费（基础）
使用LoadBalancerClient在Spring Cloud Commons中提供了大量的与服务治理相关的抽象接口，包括DiscoveryClient、这里我们即将介绍的LoadBalancerClient等。对于这些接口的定义我们在上一篇介绍服务注册与发现时已经说过，Spring Cloud做这一层抽象&#x…
OPENGL ES 对象的拾取
时间：19:51 2010-12-14 用户问题的说明 响应鼠标操作，其当中有一个非常重要的知识：使用鼠标点取，达到对三维模型对象的捕捉。 对象的拾取，这是3D当中的一个专业术语。也就是在二维屏幕当中选择三维对象。 我们要使用之…