梯度下降算法_神经网络梯度下降算法
神经网络梯度下降算法
2018, SEPT 13
梯度下降（Gradient Descent) 是神经网络比较重要的部分，因为我们通常利用梯度来利用Cost function（成本函数） 进行backpropagation（反向传播） 不断地iteration，更新权重，偏置参数找到损失最低点，然后最终使我们的模型达到更优的效果。
那么梯度下降算法是怎么运作的呢，那就要从Cost function 的计算来谈起，那么Cost function 是什么呢，其实Cost function就是在一次forward propagation时，对所有example的loss function求和。
在这里我们引入一个交叉熵(cross entropy)成本函数：
主要以二分类为例，公式中的y就是train data的label（0，1） ，而a就是前向传播中神经元的值
σ也就是某一种激活函数,介绍完这些我们需要的东西，那么我们就可以开始进行反向传播梯度下降了。
一个简单梯度前向反向传播的的计算图如下所示：
然后图片中会有很多如
这样的公式。
这个是微积分中的链式法则（chain rule)，具体不展开解释，既然学习Marchine learning，Deep Learning不会点微积分是不是有点说不过去了，嘿嘿。
接下来，直接上代码：
a = 1
b = 2
c = 3#u,v,J假设是一个神经元
u = a * b
v = a * b + c
J = 2 * (v + b)print(u, v, J)#接下去就是疯狂的chain rule了呀
#dv = dJ / dv
dv = 2
#du = dJ / du = dJ / dv * dv / du
du = 2 * 1
#db = dJ / db = dJ / du * du / db
db = 1 * du
#da = dJ / da = dJ / du * du / da
da = du * b
#dc = dJ / dc = dJ / dv * dv / dc
dc = dv * 1print("dv =", dv)
print("du =", du)
print("dc =", dc)
print("db =", db)
print("da =", da)经过梯度下降算法能得出的每一个parameter的数值，最后只需要执行一下公式便可以完成参数的update，实现Gradient descent algorithm
相关文章：
微擎删除分类无法删除解决－select in效率低解决办法
今天朋友微擎后台微网站里的分类要删除，可是怎么删除也不能删除，同样的系统另一套却可以迅速删除。 后来查询到是查询语句的问题，朋友的平台用户量太大，数据太大，用了以下语句，造成效率太低： SE…
EOS技术及生态系统介绍
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 嘉宾介绍 哈胜，现任梦起文化传播有限公司技术总监，西北地区区块链技术发起第一人；一直在致力于将区块链技术推广…
svn 提交信息模板
版本：1.0作者：张三描述：修改了xxx转载于:https://www.cnblogs.com/ithfm/p/9075748.html
pta函数统计素数并求和_黎曼的zeta函数
9月24日阿提亚爵士（Sir Atiyah）直播“证明”黎曼猜想（Riemann hypothesis）在普通人中引发了一轮数学热潮，网络上一时间涌现了很多数学八卦文章。许多人在论及该命题重要性时都指出，ζ函数的非平凡零点与素数…
EasyRTMP手机直播推送rtmp流flash无法正常播放问题
本文转自EasyDarwin团队Kim的博客：http://blog.csdn.net/jinlong0603/article/details/52960750 问题简介 EasyRTMP是EasyDarwin团队开发的一套简单易用的RTMP推送SDK。本文想讲述下开发过程中遇到的一个问题。问题的现象是使用EasyRTMP推送音视频流到自己搭建的ngi…
对称加密和非对称加密
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 对称加密 对称密钥是双方使用相同的密钥 。 对称加密的要求 （1）需要强大的加密算法。算法至少应该满足：即使…
防火墙iptables介绍
防火墙： netfilter/iptables是集成在Linux2.4.X版本内核中的包过滤防火墙系统。该架构可以实现数据包过滤，网络地址转换以及数据包管理功能。linux中防火墙分为两部分：netfilter和iptables。netfilter位于内核空间，目前是Linux内核…
企业局域网的组建
写在前面的话 随着计算机技术发展啊，办公无纸化、网络化已经成为一种趋势。 企业局域网的概述 企业中可能有多台计算机，同时还可能有其他的硬件设备，比如打印机、扫描仪和数码相机等。通过组建小型网络，可以共享企业内部各种软、硬…
python3 线程池源码解析_5分钟看懂系列：Python 线程池原理及实现
概述传统多线程方案会使用“即时创建， 即时销毁”的策略。尽管与创建进程相比，创建线程的时间已经大大的缩短，但是如果提交给线程的任务是执行时间较短，而且执行次数极其频繁，那么服务器将处于不停的创建线程ÿ…
区块链+能源，能擦出什么样的火花？
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 区块链从闯入能源行业的那一天起，就引起了行业内外人群的高度关注，关于能源区块链的争论与质疑不断搅动人们的神经。区块链能…
JS学习梳理（三）类型和语法
类型 JavaScript 有七种内置类型：null、undefined、boolean、number、string、object 和symbol，可以使用typeof 运算符来查看typeof返回的都是字符串很多开发人员将undefined 和undeclared 混为一谈， 但在JavaScript 中它们是两码事。undefin…
北师大历史系65 级同学聚会宁夏【之七】——在中阿之轴、西夏王陵、董府、板桥道堂、鸿乐府及告别宴会...
北师大历史系65级同学在中阿之轴 庞心田、王庆云、李建宇、樊淑爱、何明书、郑文范、李建宇夫人、惠晓秋、边聪民、登高夫人、张登高、杨家兴、杨森翔 西夏王陵 北师大历史系65级同学在西夏王陵 北师大历史系65级同学在西夏王陵 郑文范、王庆云在沙湖 北师大历史系65级同学在董…
会声会影水墨遮罩如何变大_自媒体长期网赚项目： 自媒体如何打造自己的自媒体知识付费课程（干货）...
小编简介：猫哥，自媒体人，9年互联网营销实战经验，乐于为大家分享实战经验，希望认识更多志同道合的朋友。面对现在知识付费的时代，知识就是财富，能把自己储存的知识转化为财富的人并不多ÿ…
OBS源代码阅读笔记
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 obs配置文件加载：bool OBSBasic::InitBasicConfig(); OBS认证信息加载，貌似还没有实现吗？ void Auth::Load(){ …
存储器结构层次（二）
局部性： 局部性分为时间局部性和空间局部性：Locality is typically described as having two distinct forms: temporal locality and spatial locality. In a program with good temporal locality, a memory location that is referenced once is like…
python 核心编程 第十三章
python面对对象 类和实例：类是对象的定义，实例是真真的实物。 创建一个类： class AddrBookEnttry(object):def __init__(self, nm, ph):self.name nmself.phone phprint"Created instance for:", self.namedef updatePhone(self,…
python写一个文件下载器_Python3使用TCP编写一个简易的文件下载器
原标题：Python3使用TCP编写一个简易的文件下载器利用Python3来实现TCP协议，和UDP类似。UDP应用于及时通信，而TCP协议用来传送文件、命令等操作，因为这些数据不允许丢失，否则会造成文件错误或命令混乱。下面代码就是模拟…
提取Jar2Exe源代码，JavaAgent监控法
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 最近遇见一个麻烦，明明知道是java写的小软件，但是打包成了exe，木得办法，之前打包的都有缓存能在TEMP…
并发编程之多进程
一 multiprocessing模块介绍 python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。 multiprocessing模块用来开启子进…
x9此计算机上没有hasp_mastercam x9安装步骤
大家好，我是时间财富网智能客服时间君，上述问题将由我为大家进行解答。mastercam x9安装步骤是：1、首先，先下载好mastercam软件，下载安装包的大小为3.01G，双击打开setup.exe安装文件，然后再安装…
bitcoinj开发环境搭建
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 bitcoinj开发包是一个Java版本的比特币协议实现，使用bitcoinj就可以实现钱包管理和交易的发送与接收，而无须本地安装bitcoin…
static关键字用法
static关键字 1.修饰成员变量 在我们平时的使用当中，static最常用的功能就是修饰类的属性和方法，让他们成为类的成员属性和方法，我们通常将用static修饰的成员称为类成员或者静态成员，这句话挺起来都点奇怪，其实这是相…
swift x输入流_SwiftUI 探索 - 状态和数据流
SwiftUI是iOS13新出的声明式UI框架，将会完全改变以前命令式操作UI的开发方式。此文章主要介绍SwiftUI中状态管理的方式。可变状态State与React和Flutter中的State类似，只不过React和Flutter中需要显式调用setState方法。在SwiftUI 中直接修改State属性值…
qt 控件 背景色 透明 除去边框
在调试ui的时候，需要将背景色变为透明，与母控件的颜色一致，并且除去边框。 参考链接： http://www.qtcentre.org/threads/12148-how-QTextEdit-transparent-to-his-parent-window 除去背景色，使透明。ui->textBrowse…
A Strange Bitcoin Transaction
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 在之前的谈谈比特币的地址安全问题这篇文章中，我们谈到一个名为”LBC”的项目，这个项目通过暴力碰撞企图打捞到一些什么东西…
Jsoncpp 使用方法解析
Jsoncpp是目前比较好用的开源Json解析库，现在总结一下它的使用方法，理解，以供以后查阅。 在引入Jsoncpp的时候我们看到Jsoncpp里边的常用的cpp文件，有json_reader.cpp,json_value.cpp,json_writer.cpp, 其中： json_val…
tomcat限速_WEB服务的下载限速（二)(限速模块安装与配置)
一、准备工作1、下载mod_bw-0.92.tgz2、安装httpd-develyum install httpd-devel二、安装限速模块tar -xvf mod_bw-0.92.tgzapxs -c -i -a mod_bw.c三、配置apachevim /usr/local/apache/conf/httpd.conf查看是否已加载 LoadModule bw_module modules/mod_bw.so如果没…
EntityFrameworkCore 安装
映射现有（多个）数据库： 安装Microsoft.EntityFrameworkCore最新版本Tools -> NuGet Package Manager -> Package Manager Console 分别输入： Scaffold-DbContext "Server.;DatabaseSxh;Trusted_ConnectionTrue;" …
python神秘的魔法函数_Python魔法函数
1.什么是魔法函数魔法函数即Python类中以__(双下划线)开头，以__(双下划线)结尾的函数，Python提供的函数，可让咱们随意定义类的特性示例：class Company(object):def __init__(self, employee_list):self.employee employee_listde…
HDU-4738-Caocao's Bridges（tarjan）
转载于:https://www.cnblogs.com/GrowingJlx/p/6642692.html