吴恩达老师深度学习视频课笔记：超参数调试、Batch正则化和程序框架
Tuning process(调试处理)：神经网络的调整会涉及到许多不同超参数的设置。需要调试的重要超参数一般包括：学习率、momentum、mini-batch size、隐藏单元(hidden units)、层数、学习率衰减。一般对于你要解决的问题而言，你很难提前知道哪个参数最重要。超参值的搜索过程可以随机取值和精确搜索，考虑使用由粗糙到精细的搜索过程。
超参数搜索过程：Re-test hyper parameters occasionally、Babysitting one model(计算机资源有限时)、Training many models in parallel。
Batch Normalization(Batch 归一化)：会使超参数搜索变得容易，使神经网络对超参数的选择更加稳定(robust)。在神经网络中已知一些中间值，假设有一些来自隐藏层的隐藏单元值从z(1)到z(m)即z[l](i)，归一化第l层的隐藏单元z(i)，归一化z到含均值0和标准单元方差(normalized z to have mean zero and standard unit variance)，如下图。因此z的每一个分量都含有平均值0和方差1.但是我们不想让隐藏单元总是含有平均值0和方差1，因为隐藏单元有不同的分布会更有意义，因此由znorm(i)变为z~(i)，这里的γ和β是学习参数。γ和β的作用是可以随意设置z~(z tilde)的平均值。采用Batch Normalization后会使用现在的z~(i)替代原来的z(i)已方便神经网络的后续计算。
将Batch Norm应用到神经网络：如下图，Batch归一化是发生在计算z和计算a之间。
Batch归一化通常和训练集的mini-batch一起使用，如下图。参数b在Batch归一化中没有意义，所以必须去掉它，由β替代。Batch归一化一次只能处理一个mini-batch数据，它在mini-batch上计算均值和方差。
将Batch归一化应用到梯度下降法中，如下图。
Softmax layer/Softmax 激活函数：实现过程如下图所示，以识别四种类别为例。图中的输出层L为(4,1)向量，代表对应类所对应的概率。softmax用于多分类中。softmax回归或softmax激活函数将logistic激活函数推广到C类而不仅仅是两类。
softmax中用到的损失函数(loss function)：实现过程如下图所示，以识别四种类别为例。
深度学习软件框架：Caffe/Caffe2、CNTK、DL4J、Keras、Lasagne、mxnet、PaddlePaddle、TensorFlow、Theano、Torch。每一个框架都是针对某一个特定用户或开发者群体的。
选择深度学习框架的标准：便于编程；运行速度；框架是否真的开放(truly open)。
GitHub： https://github.com/fengbingchun/NN_Test
相关文章：
AD上删除了Exchange容器,再重装时报'找不到企业组织容器
AD上删除了Exchange容器,再重装时报找不到企业组织容器。安装日志如下:[06/16/2014 04:58:15.0054] [0] **********************************************[06/16/2014 04:58:15.0054] [0] Starting Microsoft Exchange Server 2013 Service Pack 1 Setup[06/16/2014 04:58:15.0…
实战：基于OpenPose的卡通人物可视化 | CSDN博文精选
作者 | Wuzebiao2016来源 | CSDN博客前言去年打算用些现成的Pose做些展示，因为以前有在OpenPose做些识别等开发工作，所以这次我就简单在OpenPose上把骨架用动画填充上去，关于能够和人动作联系起来的动画，我找到了Unity提供的示例A…
基于Idea从零搭建一个最简单的vue项目
一、需要了解的基本知识 node.js Node.js是一个Javascript运行环境(runtime)，发布于2009年5月，由Ryan Dahl开发，实质是对Chrome V8引擎进行了封装。Node.js对一些特殊用例进行优化，提供替代的API，使得V8在非浏览器环境…
OpenCV中基于LBP算法的人脸检测测试代码
下面是OpenCV 3.3中基于CascadeClassifier类的LBP算法实现的人脸检测，从结果上看，不如其它开源库效果好，如libfacedetection，可参考 https://blog.csdn.net/fengbingchun/article/details/52964163 #include "funset.hpp&qu…
解决getOutputStream() has already been called for this response[java io流]
getOutputStream() has already been called for this response以上异常出现的原因和解决方法：jsp中出现此错误一般都是在jsp中使用了输出流（如输出图片验证码，文件下载等），没有妥善处理好的原因。具体的原因ÿ…
吴恩达老师深度学习视频课笔记：构建机器学习项目(机器学习策略)(1)
机器学习策略(machine learning strategy)：分析机器学习问题的方法。正交化(orthogonalization)：要让一个监督机器学习系统很好的工作，一般要确保四件事情，如下图：(1)、首先，你通常必须确保至少系统在训练集…
内行的AI盛会——北京智源大会带你洞见未来！（含日程及限量优惠）
报名请点击「阅读原文」北京国家会议中心2019年10月31日-11月1日www.baai.ac.cn/2019使用优惠码「BAAICSDN」专享7折优惠学生票仅69元，数量有限，先到先得世界AI看中国，中国AI看北京（长按上图或点击「阅读原文」注册参会࿰…
微软职位内部推荐-Sr. Dev Lead
微软近期Open的职位:JD如果你想试试这个职位，请跟我联系，我是微软的员工，可以做内部推荐。发你的中英文简历到我的邮箱：Nicholas.lu.mail(at)gmail.com转载于:https://www.cnblogs.com/DotNetNuke/p/3885283.html
吴恩达老师深度学习视频课笔记：构建机器学习项目(机器学习策略)(2)
进行误差分析：可进行人工统计或可同时并行评估几个想法。进行误差分析时，你应该找一组错误例子，可能在你的开发集里或者在你的测试集里，观察错误标记的例子，看看假阳性(false positives)和假阴性(false negatives)&…
3D机器人视觉在仓储物流和工业自动化领域的应用 | AI ProCon 2019
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）随着深度学习和机器学习的发展，机器人已经走出实验室，越来越多地地应用于各行各业，其中，仓储物流和工业化领域就有许多适合机器人作业的场景环境。人眼的一大…
【转载】gdi+ 内存泄漏
【转载】http://issf.blog.163.com/blog/static/1941290822009111894413472/ 最近用GDI实现了几个自定义控件，但是发现存在内存泄露问题 BOOL CGdiplusBugDlg::OnEraseBkgnd(CDC* pDC) {Image* pImage Image::FromFile(L"E:\\bac.bmp");Graphics g(pDC-&…
ubuntu fctix
感觉ubuntu自在大ibus输入法用起来实在是灰常蛋痛啊，于是乎就换了fcitx输入法（很多人推荐嘛）在安装之前先说一下fcitx输入法吧。1.添加fcitx源(官方的源是旧版,不推荐使用)fcitx的ppa源，内含fcitx和fcitx-config,使用命令sudo ged…
深度学习中的优化简介
深度学习算法在许多情况下都涉及到优化。1. 学习和纯优化有什么不同在大多数机器学习问题中，我们关注某些性能度量P，其定义于测试集上并且可能是不可解的。因此，我们只是间接地优化P。我们系统通过降低代价函数J(θ)来提高P。这一点与纯优化不…
飞凌OK6410开发板移植u-boot官方最新版u-boot-2012.10.tar.bz2
Part0 准备知识 0.1 关键参数说明 0.1.1 开发板说明 OK6410是飞凌公司发布的一款开发板，当前有2个版本，OK6410-A和OK6410-B，我当前使用的是前者；前者也经历过升级，所以有128M ram的和较新的256内存的版本，n…
参数量110亿，附赠750GB数据集，Google提NLP预训练模型T5
整理 | Just，夕颜出品 | AI科技大本营（ID:rgznai100）近日，Google 在最新一篇共有 53 页的论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》中，提出了一个最新的预训练模型…
Linux之bash编程基本语法
在Linux运维工作中，我们为了提高工作效率通常会用bash编写脚本来完成某工作。今天就来为大家介绍bash的一些常见的基本语法。在讲解bash语法之前首先介绍一下bash。bash环境主要是由解释器来完成的。【解释器】：解释命令：词法分析、语法分析、…
深度学习中的卷积网络简介
卷积网络(convolutional network)也叫做卷积神经网络(convolutional neural network, CNN)，是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据(可以认为是在时间轴上有规律地采样形成的一维网格)和图像数据(可以看作是二维的像素网格)。卷积网…
Windows下搭建PHP开发环境
PHP集成开发环境有很多，如XAMPP、AppServ......只要一键安装就把PHP环境给搭建好了。但这种安装方式不够灵活，软件的自由组合不方便，同时也不利于学习。所以我还是喜欢手工搭建PHP开发环境，需要哪个模块自己安装就行了，…
大数据时代下的新生态、新洞察、新趋势 | 神策 2019 数据驱动大会
10 月 22 日，以“矩•变”为主题的神策 2019 数据驱动大会在北京维景国际大酒店顺利举行，来自全球大数据各大行业的领袖人物聚首北京，融合国际前沿技术与行业实践，深入探讨大数据时代下的新生态、新洞察、新趋势。 大会主题“矩•…
ckedit 文本编辑器
Ckeditor是一个功能非常强大的富文本编辑器，博客园有使用此编辑器，其功能完全可以与MS的Word媲美。 用起来也非常方便。下面是本人总结的安装步骤： 第一步，从http://ckeditor.com/download 下载ckeditor文件包 第二步，…
为什么我害怕数据结构学得好的程序员？
我害怕数据结构学得好的程序员，一跟他们讨论技术，我就感觉自己不是程序员，仅仅是在搬砖维持生活。我所拥有的编程技巧是什么？不就是每个程序员都会的，对数据库的增删改查吗？每一个初入职场的程序员都会。但…
Go语言基础介绍
Go是一个开源的编程语言。Go语言被设计成一门应用于搭载Web服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。目前，Go最新发布版本为1.10.Go语言可以运行在Linux、FreeBSD、Mac OS X和Windows系统上。1. 结构：Go语言的基础组成有以…
强制退出WinForm程序之Application.Exit和Environment.Eixt
这几天在做一个把大量Infopath生成的XML数据，进行处理的程序，我用了MDI子窗体，每个窗体包含了各自的功能，如，遍历目录及其子目录检查文件类型并自动生成Sql语句并入库、对Infopath数据的自动检查、对数据中的某些域的替…
Oracle Study之--Oracle等待事件（3）
Oracle Study之--Oracle等待事件（3）Db file parallel read这是一个很容易引起误导的等待事件，实际上这个等待事件和并行操作（比如并行查询，并行DML）没有关系。 这个事件发生在数据库恢复的时候，…
Windows下通过Python 3.x的ctypes调用C接口
在Python中可以通过ctypes来调用动态库中的C接口，具体操作过程如下：1. 使用vs2013创建一个加、减、乘、除的动态库，并对外提供C接口，code内容如下：math_operations.hpp: #ifndef TEST_DLL_1_MATH_OPERATIONS_HPP_ #def…
如何在3天内拿下DigSci大赛的亚军？| DigSci科学数据挖掘大赛
作者 | 朱翔宇(DOTA)来源 | AI算法之心（AIHeartForYou）【导读】本文将基于作者在中国计算机大会方案宣讲PPT中的内容，给出此次比赛的完整方案，主要从赛题理解、建模核心思路、算法核心思想等角度阐述，同时对相关细节进…
如何获得Oracle系统性能统计？ Oracle大型数据库系统在AIXUNIX上的实战详解 集中讨论 14...
累计读者的来信中，有若干位同仁谈到Oracle的性能问题。什么叫性能慢？怎么量化性能统计？问题我不一一列出了，下面的文字大部分来自Oracle 英文文档，我认为描述的极为精确，比我说的强。 如果有效地诊断性能问…
百度搜索查询命令——组合型
在百度上搜索一下，就会出现一堆关于查询搜索的命令，比如：site，domain，双引号，减号等等。今日，我简单总结一点组合型命令，希望对大家有帮助。 1、domain命令、减号-和的inurl组合 公式…
Delphi多线程编程中的技巧
1）创建线程 MsgThread : TMsgThread.Create(False) ; //创建并执行线程 MsgThread : TMsgThread.Create(True) ; //创建线程后挂起 constructor Create(CreateSuspended: Boolean); 中的参数CreateSuspended表示创建后是否挂起线程。 （2）设置…
Ubuntu14.04下配置OpenGL及测试代码
ubuntu14.04 64位下，默认是没有安装OpenGL相关依赖库的，若安装，则依次执行如下几条命令即可： $ sudo apt-get update $ sudo apt-get install build-essential $ sudo apt-get install libgl1-mesa-dev $ sudo apt-get install li…