激活函数之ReLU/softplus介绍及C++实现
softplus函数(softplus function)：ζ(x)=ln(1+exp(x)).
softplus函数可以用来产生正态分布的β和σ参数，因为它的范围是(0,∞)。当处理包含sigmoid函数的表达式时它也经常出现。softplus函数名字来源于它是另外一个函数的平滑(或”软化”)形式，这个函数是x+=max(0,x)。softplus 是对 ReLU 的平滑逼近的解析函数形式。
softplus函数别设计成正部函数(positive part function)的平滑版本，这个正部函数是指x+=max{0,x}。与正部函数相对的是负部函数(negative part function)x-=max{0, -x}。为了获得类似负部函数的一个平滑函数，我们可以使用ζ(-x)。就像x可以用它的正部和负部通过等式x+-x-=x恢复一样，我们也可以用同样的方式对ζ(x)和ζ(-x)进行操作，就像下式中那样：ζ(x) -ζ(-x)=x.
Rectifier:In the context of artificial neural networks, the rectifier is an activation function defined as:
f(x)=max(0,x)
where x is the input to a neuron. This activation function was first introduced to a dynamical network by Hahnloser et al. in a 2000 paper in Nature. It has been used in convolutional networks more effectively than the widely used logistic sigmoid (which is inspired by probability theory; see logistic regression) and its more practical counterpart, the hyperbolic tangent. The rectifier is, as of 2015, the most popular activation function for deep neural networks.
A unit employing the rectifier is also called a rectified linear unit (ReLU).
A smooth approximation to the rectifier is the analytic function: f(x)=ln(1+ex), which is called the softplus function. The derivative of softplus is: f’(x)=ex/(ex+1)=1/(1+e-x), i.e. the logistic function.
Rectified linear units(ReLU) find applications in computer vision and speech recognition using deep neural nets.
Noisy ReLUs: Rectified linear units can be extended to include Gaussian noise, making them noisy ReLUs, giving: f(x)=max(0, x+Y), with Y∽N(0, σ(x)). Noisy ReLUs have been used with some success in restricted Boltzmann machines for computer vision tasks.
Leaky ReLUs：allow a small, non-zero gradient when the unit is not active：
Parametric ReLUs take this idea further by making the coefficient of leakage into a parameter that is learned along with the other neural network parameters:
Note that for a≤1, this is equivalent to: f(x)=max(x, ax), and thus has a relation to "maxout" networks.
ELUs：Exponential linear units try to make the mean activations closer to zero which speeds up learning. It has been shown that ELUs can obtain higher classification accuracy than ReLUs：
a is a hyper-parameter to be tuned and a≥0 is a constraint.
以上内容摘自： 《深度学习中文版》和 维基百科
以下是C++测试code：
#include "funset.hpp"
#include <math.h>
#include <iostream>
#include <string>
#include <vector>
#include <opencv2/opencv.hpp>
#include "common.hpp"// ========================= Activation Function: ELUs ========================
template<typename _Tp>
int activation_function_ELUs(const _Tp* src, _Tp* dst, int length, _Tp a = 1.)
{if (a < 0) {fprintf(stderr, "a is a hyper-parameter to be tuned and a>=0 is a constraint\n");return -1;}for (int i = 0; i < length; ++i) {dst[i] = src[i] >= (_Tp)0. ? src[i] : (a * (exp(src[i]) - (_Tp)1.));}return 0;
}// ========================= Activation Function: Leaky_ReLUs =================
template<typename _Tp>
int activation_function_Leaky_ReLUs(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = src[i] > (_Tp)0. ? src[i] : (_Tp)0.01 * src[i];}return 0;
}// ========================= Activation Function: ReLU =======================
template<typename _Tp>
int activation_function_ReLU(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = std::max((_Tp)0., src[i]);}return 0;
}// ========================= Activation Function: softplus ===================
template<typename _Tp>
int activation_function_softplus(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = log((_Tp)1. + exp(src[i]));}return 0;
}int test_activation_function()
{std::vector<double> src{ 1.23f, 4.14f, -3.23f, -1.23f, 5.21f, 0.234f, -0.78f, 6.23f };int length = src.size();std::vector<double> dst(length);fprintf(stderr, "source vector: \n");fbc::print_matrix(src);fprintf(stderr, "calculate activation function:\n");fprintf(stderr, "type: sigmoid result: \n");fbc::activation_function_sigmoid(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: sigmoid fast result: \n");fbc::activation_function_sigmoid_fast(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: softplus result: \n");fbc::activation_function_softplus(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: ReLU result: \n");fbc::activation_function_ReLU(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: Leaky ReLUs result: \n");fbc::activation_function_Leaky_ReLUs(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: Leaky ELUs result: \n");fbc::activation_function_ELUs(src.data(), dst.data(), length);fbc::print_matrix(dst);return 0;
}GitHub： https://github.com/fengbingchun/NN_Test
相关文章：
windows server 2012 用sysdba登录报错 ORA-01031
报错显示：C:\Users\Administrator>sqlplus / as sysdba SQL*Plus: Release 11.2.0.1.0 Production on 星期三 4月 24 09:09:33 2019 Copyright (c) 1982, 2010, Oracle. All rights reserved. ERROR:ORA-01031: 权限不足 请输入用户名: 1、查看本地用户和组确认权…
[SignalR]初步认识以及安装
原文:[SignalR]初步认识以及安装1.什么是ASP.NET SignalR？ ASP .NET SignalR是一个 ASP .NET 下的类库，可以在ASP .NET 的Web项目中实现实时通信。什么是实时通信的Web呢？就是让客户端（Web页面）和服务器端可以互相通知…
CUDA Samples：Vector Add
以下CUDA sample是分别用C和CUDA实现的两向量相加操作，参考CUDA 8.0中的sample:C:\ProgramData\NVIDIA Corporation\CUDA Samples\v8.0\0_Simple，并对其中使用到的CUDA函数进行了解说，各个文件内容如下：common.hpp:#ifndef FBC_CU…
你和人工智能的对话，正在被人工收听
（图片有AI科技大本营付费下载自视觉中国）作者 | 周晶晶编辑 | 阿伦来源 | 燃财经（ID:rancaijing）如今，智能设备越来越多地出现在每个人的生活中，在享受它们带来的便利时，很多人或许没有意识到&a…
python数据结构与算法总结
python常用的数据结构与算法就分享到此处，本月涉及数据结构与算法的内容有如下文章： 《数据结构和算法对python意味着什么？》 《顺序表数据结构在python中的应用》 《python实现单向链表数据结构及其基本方法》 《python实现单向循环链表数据…
自定义classloader中的接口调用
2019独角兽企业重金招聘Python工程师标准>>> 注意其中转型异常的描述，左边声明和强转括号内都是appclassloader加载的，而让自定义加载类的接口也由appclassloader加载，所以转型成功 转载于:https://my.oschina.net/heatonn1/blog/…
学点基本功：机器学习常用损失函数小结
（图片付费下载自视觉中国）作者 | 王桂波转载自知乎用户王桂波【导读】机器学习中的监督学习本质上是给定一系列训练样本 ，尝试学习 的映射关系，使得给定一个 ，即便这个不在训练样本中，也能够得到尽量接近…
python生成简单的FTP弱口令扫描
2019独角兽企业重金招聘Python工程师标准>>> 前言 Ftp这个类实现了Ftp客户端的大多数功能,比如连接Ftp服务器、查看服务器中的文件、上传、下载文件等功能,Ftp匿名扫描器的实现，需要使用FTP这个类,首先用主机名构造了一个Ftp对象(即ftp),然后用这个ftp调…
C++中const指针用法汇总
这里以int类型为例，进行说明，在C中const是类型修饰符：int a; 定义一个普通的int类型变量a，可对此变量的值进行修改。const int a 3;与 int const a 3; 这两条语句都是有效的code，并且是等价的，说明a是一个…
mongodb基础应用
一些概念 一个mongod服务可以有建立多个数据库，每个数据库可以有多张表，这里的表名叫collection，每个collection可以存放多个文档（document），每个文档都以BSON（binary json）的形式存…
【leetcode】1030. Matrix Cells in Distance Order
题目如下： We are given a matrix with R rows and C columns has cells with integer coordinates (r, c), where 0 < r < R and 0 < c < C. Additionally, we are given a cell in that matrix with coordinates (r0, c0). Return the coordinates of…
深度学习面临天花板，亟需更可信、可靠、安全的第三代AI技术|AI ProCon 2019
整理 | 夕颜 出品 | AI科技大本营（ID:rgznai100） 在人工智能领域中，深度学习掀起了最近一次浪潮，但在实践和应用中也面临着诸多挑战，特别是关系到人的生命，如医疗、自动驾驶等领域场景时，黑盒…
java robot类自动截屏
直接上代码:package robot;import java.awt.Rectangle;import java.awt.Robot;import java.awt.event.InputEvent;import java.awt.p_w_picpath.BufferedImage;import java.io.File;import java.io.IOException;import javax.p_w_picpathio.ImageIO;import com.sun.glass.event…
激活函数之softmax介绍及C++实现
下溢(underflow)：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。上溢(overflow)：当大量级的数被近似为∞或-∞时发生上溢。进一步的运…
parsing:NLP之chart parser句法分析器
已迁移到我新博客,阅读体验更佳parsing:NLP之chart parser句法分析器 完整代码实现放在我的github上:click me 一、任务要求 实现一个基于简单英语语法的chart句法分析器。二、技术路线 采用自底向上的句法分析方法，简单的自底向上句法分析效率不高，常常…
图解Python算法
普通程序员，不学算法，也可以成为大神吗？对不起，这个，绝对不可以。可是算法好难啊~~看两页书就想睡觉……所以就不学了吗？就一直当普通程序员吗？如果有一本算法书，看着很轻松……又有…
详解SSH框架的原理和优点
Struts的原理和优点. Struts工作原理 MVC即Model-View-Controller的缩写，是一种常用的设计模式。MVC 减弱了业务逻辑接口和数据接口之间的耦合，以及让视图层更富于变化。MVC的工作原理,如下图1所示：Struts 是MVC的一种实现࿰…
Numpy and Matplotlib
Numpy介绍 编辑 一个用python实现的科学计算，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成…
梯度下降法简介
条件数表征函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。大多数深度学习算法都涉及某种形式的优化。优化指的是改变x以最小化或最大化某个函数f(x)的任务…
微软亚研院CV大佬代季峰跳槽商汤为哪般？
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）近日，知乎上一篇离开关于MSRA（微软亚洲研究院）和MSRA CV未来发展的帖子讨论热度颇高，这个帖子以MSRA CV执行研究主任代季峰离职加入商汤为引子，引…
iOS Block实现探究
2019独角兽企业重金招聘Python工程师标准>>> 使用clang的rewrite-objc filename 可以将有block的c代码转换成cpp代码。从中可以看到block的实现。 #include <stdio.h> int main() {void (^blk)(void) ^{printf("Block\n");};blk();return 0; } 使…
CUDA Samples: Long Vector Add
以下CUDA sample是分别用C和CUDA实现的两个非常大的向量相加操作，并对其中使用到的CUDA函数进行了解说，各个文件内容如下：common.hpp:#ifndef FBC_CUDA_TEST_COMMON_HPP_ #define FBC_CUDA_TEST_COMMON_HPP_#include<random>template&l…
TensorFlow2.0正式版发布，极简安装TF2.0（CPUGPU）教程
作者 | 小宋是呢转载自CSDN博客【导读】TensorFlow 2.0，昨天凌晨，正式放出了2.0版本。不少网友表示，TensorFlow 2.0比PyTorch更好用，已经准备全面转向这个新升级的深度学习框架了。本篇文章就带领大家用最简单地方式安装TF2.0正式…
javascript全栈开发实践-准备
目标： 我们将会通过一些列教程，在只使用JavaScript开发的情况下，实现一个手写笔记应用。该应用具有以下特点： 全平台，有手机客户端（Android/iOS），Windows，macOSÿ…
POJ 1017 Packets 贪心 模拟
一步一步模拟，做这种题好累 先放大的的，然后记录剩下的空位有多少，塞1*1和2*2的进去 //#pragma comment(linker, "/STACK:1024000000,1024000000") #include<cstdio> #include<cstring> #include<cstdlib> #incl…
NLP被英语统治？打破成见，英语不应是「自然语言」同义词
（图片付费下载自视觉中国）作者 | Emily M. Bender译者 | 陆离责编 | 夕颜出品 | AI科技大本营（ID: rgznai100） 【导读】在NLP领域，多资源语言以英语、汉语（普通话）、阿拉伯语和法语为代表&#…
CUDA Samples: Dot Product
以下CUDA sample是分别用C和CUDA实现的两个非常大的向量实现点积操作，并对其中使用到的CUDA函数进行了解说，各个文件内容如下：common.hpp:#ifndef FBC_CUDA_TEST_COMMON_HPP_ #define FBC_CUDA_TEST_COMMON_HPP_#include<random>templa…
element ui只输入数字校验
注意：圈起来的两个地方，刚开始忘记写typenumber了，导致可以输入‘123abc’这样的，之后加上了就OK了 转载于:https://www.cnblogs.com/samsara-yx/p/10774270.html
对DeDecms之index.php页面的补充
2019独角兽企业重金招聘Python工程师标准>>> 1、301是什么？ 其实就是HTTP状态表。就是当用户输入url请求时，服务器的一个反馈状态。 详细链接http://www.cnblogs.com/kunhony/archive/2006/06/16/427305.html 2、common.inc.php和arc.partvi…
OpenCV-Python：K值聚类
关于K聚类，我曾经在一篇博客中提到过，这里简单的做个回顾。 KMeans的步骤以及其他的聚类算法 K-均值是因为它可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算 其他聚类算法：二分K-均值 讲解一下步骤，其实…