从神经元谈到深度神经网络
作者 | 泳鱼
来源 | 算法进阶
本文将从神经元到逻辑回归模型结构，并将其扩展到深度深度网络模型。
一、谈谈智慧
对于人类智慧奥秘的探索，不同时代、学科背景的人对于智慧的理解及其实现方法有着不同的思想主张。有的主张用显式逻辑体系搭建人工智能系统，即符号主义。有的主张用数学模型模拟大脑组成以实现智慧，即联结主义，这也就是我们本文讨论的方向。
那大脑为什么能够思考？科学家发现，原因在于人体的神经网络，而神经网络的基本组成就是神经元：
1、外部刺激通过神经元的神经末梢，转化为电信号，传导到神经元。
2、神经元的树突接收电信号，由神经元处理是否达到激活阈值再输出兴奋或者抑制电信号，最后由轴突将信号传递给其它细胞。
3、无数神经元构成神经中枢。神经中枢综合各种信号，做出判断。
4、 人体根据神经中枢的指令，对外部刺激做出反应。
二、神经元
既然智慧的基础是神经元，而正因为神经元这些特点才使大脑具有强大的 “运算及决策的能力”，科学家以此为原理发明了人工神经元数学模型，并以神经元为基础而组合成人工神经网络模型。（注：下文谈到的神经元都特指人工神经元）
如上图就是人工神经元的基本结构。它可以输入一定维数的输入（如：3维的输入，x1，x2, x3），每个输入都先要乘上相应的权重值（如：w0,w1,w2），乘上每一权重值的作用可以视为对每一输入的加权，也就是对每一输入的神经元对它的重视程度是不一样的。
接下来神经元将乘上权重的每个输入做下求和（也就是加权求和），并加上截距项（截距项b可以视为对神经元阈值的直接调整），最后由激活函数（f）非线性转换为最终输出值。
激活函数的种类很多，有sigmoid，tanh，sign，relu，softmax等等（下一专题会讨论下激活函数）。激活函数的作用是在神经元上实现一道非线性的运算，以通用万能近似定理——“如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精度来逼近任意一个在 ℝn 的紧子集 (Compact subset) 上的连续函数”所表明，激活函数是深度神经网络学习拟合任意函数的前提。
三、神经元到逻辑回归
单个神经元且其激活函数为sigmoid时，既是我们熟知的逻辑回归的模型结构。
逻辑回归是一种广义线性的分类模型且其模型结构可以视为单层的神经网络，由一层输入层、一层仅带有一个sigmoid激活函数的神经元的输出层组成，而无隐藏层。（注：计算网络层数不计入输入层）
在逻辑回归模型结构中，我们输入数据特征x，通过输出层神经元激活函数σ（sigmoid函数）将输入的特征经由sigmoid(wx + b)的计算后非线性转换为0~1区间的数值后输出。学习训练过程是通过梯度下降学到合适的参数w的模型 Y=sigmoid(wx + b)，使得模型输出值Y与实际值y的误差最小。
四、逻辑回归到深度神经网络
基于前面的介绍可以知道，神经网络也就是神经元按层次连接而成的网络，逻辑回归是单层的神经网络，当我们给仅有输入层及输出层的单层神经网络中间接入至少一层的隐藏层，也就是深度神经网络了。
深度神经网络包含了三种网络层：输入层、隐藏层及输出层。
输入层：为数据特征输入层，输入数据特征个数就对应着网络的神经元数。
隐藏层：即网络的中间层，隐藏层层数可以为0或者很多层，其作用接受前一层网络输出作为当前的输入值，并计算输出当前结果到下一层。隐藏层是神经网络性能的关键，通常由含激活函数的神经元组成，以进一步加工出高层次抽象的特征，以增强网络的非线性表达。隐藏网络层数直接影响模型的拟合效果。
输出层：为最终结果输出的网络层。输出层的神经元个数代表了分类标签的个数（注：在做二分类时，如果输出层的激活函数采用sigmoid，输出层的神经元个数为1个；如果采用softmax分类器，输出层神经元个数为2个）
在神经网络中，数据特征（x）从输入层输入，每层的计算结果由前一层传递到下一层，最终到输出层输出计算结果。每个网络层由一定数量的神经元组成，神经元可以视为一个个的计算单元，对输入进行加权求和，故其计算结果由神经元包含的权重(即模型参数w)直接控制，神经元内还可以包含激活函数，可以对加权求和的结果进一步做非线性的计算,如sigmoid(wx + b)。
往
期
回
顾
资讯
AI 将有自我视觉？Facebook正在研究新系统
资讯
阿里云投入 20 亿发力操作系统
资讯
“倚天”一出，谁与争锋？阿里发布云芯片
技术
ST-GCN 实现人体姿态行为分类
分享
点收藏
点点赞
点在看
相关文章：
【阿里聚安全·安全周刊】Intel芯片级安全漏洞事件|macOS存在漏洞
关键词：Intel漏洞丨mac OS漏洞丨三星漏洞丨安卓安全丨CPU漏洞丨phpMyAdmin漏洞丨iOS设备|安卓恶意软件检测|Burpsuite 本周资讯top3 【Intel漏洞】芯片级安全漏洞后续：谷歌表示不止Intel，每个1995年后的处理器都可能受影响 1月3日，…
BigPipe：高性能的“流水线技术”网页
原文地址：http://www.facebook.com/note.php?note_id389414033919 译文地址：http://isd.tencent.com/?p2419 作者：蒋长浩 Facebook的网站速度做为最关键的公司任务之一。在2009年，我们成功地实现了Facebook网站速度提升两倍 。…
超硬核全套Java视频教程(学习路线+免费视频+配套资料)
文内福利，扫码免费领取Hello，各位锋迷们，我是小千。很多学习Java的小伙伴都在找的全套免费java视频教程，这里全都有，资料齐全，拿来吧你！零基础学Java的学习路线图是怎样的？ÿ…
手机触屏滑动图片切换插件swiper.js
今天给大家分享一款手机触屏滑动图片切换插件swiper.js是一款swiper手机触屏滑动图片幻灯片，适合各种尺寸。效果图如下： 在线预览 源码下载 实现的代码。 html代码： <div style"max-width: 640px; margin: 0 auto;"><di…
Nginx防盗链，Nginx访问控制， Nginx解析php相关配置， Nginx代理
2019独角兽企业重金招聘Python工程师标准>>> Nginx防盗链 Nginx防盗链配置需要与不记录日志和过期时间结合在一起，因为都用到了location。 打开配置文件，注释掉一部分内容（红框上方），添加内容（红…
web高性能开发系列随笔
在BlogJava里写了一些关于高性能WEB开发的随笔，因为都是跟前端技术相关(html,http,js,css等)，所以也贴到博客园来，吸收下人气。 1、 HTTP服务器. 2、性能测试工具推荐 3、 图片篇. 4、 如何加载JS，JS应该放在什么位置. 5、…
《Effective C++》第8章 定制new和delete-读书笔记
章节回顾： 《Effective C》第1章 让自己习惯C-读书笔记 《Effective C》第2章 构造/析构/赋值运算（1）-读书笔记 《Effective C》第2章 构造/析构/赋值运算（2）-读书笔记 《Effective C》第3章 资源管理（1&am…
观点：AI 与自动化是矛盾的
作者：cerebralab.com译者：张雨佳原文标题：AI and automation are at odds想象一下，我们生活在一个完美、和谐的地方，所有人在某一天同意让电脑代替人类驾驶汽车，而不是像现在逐步推进自动驾驶。那么&#x…
kaggle之数据分析从业者用户画像分析
数据为kaggle社区发布的数据分析从业者问卷调查分析报告，其中涵盖了关于该行业不同维度的问题及调查结果。本文的目的为提取有用的数据，进行描述性展示。帮助新从业的人员更全方位地了解这个行业。 参考学习视频:http://www.tianshansoft.com/ 数据集&am…
mysql读写分离（MySQL Proxy 安装和使用）
一、必备软件： 1、LUA 可以去LUA的官方下载：www.lua.org 2、MySQL Proxy 这里有好多二进制版本。 http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/ 或者去MYSQL官方下载源代码。 3、测试过程中取消了B和C的REPLICATION。这样SQL语句…
微软副总裁、Kubernetes 头号贡献者的他，给云原生带来奇迹！
我们做了一个街头采访，调查路人眼中的程序员到底是怎样的？提到程序员，大家似乎都有刻板印象：总是格子衬衫牛仔裤双肩包打扮，总是埋头敲代码，加班是常态……谁说程序员呆板木讷，只会埋头敲一行行…
查询Oracle中字段名带.的数据
SDE中的TT_L线层会有SHAPE.LEN这样的字段，使用： SQL>select shape.len from tt_l; 或 SQL>select t.shape.len from tt_l t; 是查询不出来的。 需要这样查询： SQL>select t."SHAPE"."LEN" from tt_l t; 转载于:…
再谈session共享
之前一篇已经写过了《springboot中redis的使用和分布式session共享问题》，但是示例不完全，本文加以完善。 使用spring-session-data-redis解决session共享，而不需要再引入其他jar即可 集成简单，上手迅速。 项目结构 1.pngpom <…
使用MySQL Proxy解决MySQL主从同步延迟
MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方 面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负 载、网络拥堵等方面的原因，Master与…
Python 操作 MongoDB 数据库！
作者 |黄伟呢来源 |数据分析与统计学之美MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。先来看看MySQL与MongoDB 概念区别：今天的重点，就是要为大家讲述如何使用Python操…
Linux下用汇编输出Hello, world
下列是Intel汇编语法实现的 Hello, world!程序。 ;; hello.asm ;; nasm -f elf hello.asm; will output hello.o ;; ld -s -o hello hello.o;; section, same to segment segment .data ; 数据段声明, 下列代码将放在数据段中msg db "Hello, world!", 0xA ; 要…
利用bigpipe机制实现页面模块的异步渲染 chunked技术
bigpipe基于HTTP/1.1 支持的chunked编码，可以由浏览器接收到服务器发送的chunked块后，立即解析该块代码。因为chunked编码使消息主体成块发送，每块有自己的大小指示器，在所有的块之后会紧接着一个可选的包含实体头域的尾部。这种编…
hibernate 全面学习【lazy策略 】
2019独角兽企业重金招聘Python工程师标准>>> lazy策略可以用在： * <class>标签上：可以取值true/false * <property>标签上，可以取值true/false，这个特性需要类增强 * <set>/<list>等集合上…
深度学习发现古人类遗址，AI 考古比胡八一更高效
作者 |神经星星来源 |HyperAI超神经By 超神经内容一览：伊利诺伊州立大学人类学专业考古方向的研究人员，将空间遥感技术和深度学习应用于古人类遗址的发掘和研究。关键词：考古 遥感 机器视觉考古，一直是个神秘又充满吸引力的话题。…
linux resource
1. centos repo https://centos.pkgs.org/转载于:https://www.cnblogs.com/gojoin/p/8241068.html
MySQL 水平分区方案Spock Proxy
Spock Proxy 是由实际项目产生的一个开源项目（Spock是Rails的应用，Speck Proxy应当可用于Rails之外的，例如PHP或.NET），基于MySQL Proxy开发，是MySQL Proxy的一个分支，支持range-based horizonta…
卷学历、卷加班……程序员拥有什么能力才能破局内卷？
全世界的天才程序员都在疯狂的造轮子，其它程序员只能被动的学习轮子，这简直就像一场绝地求生。程序员行业的内卷已是有目共睹，选择程序员作为职业的人越来越多；大厂对程序员的学历要求越来越高；程序员工作加班越来越严…
LeetCode - Maximum Depth of Binary Tree
递归求二叉树的最大深度。 /*** Definition for binary tree* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode(int x) { val x; }* }*/ public class Solution {public int maxDepth(TreeNode root) {if(root null)return 0…
2018年IT市场最大的技术趋势和热点预测
随着数字化，物联网（IoT）设备，区块链应用以及新的服务器战略日益普及，这可能会成为2018年最大的技术趋势。我们期待看到大量与边缘计算相关的新产品，即所谓的无服务器计算，智能家居，智…
哈希分布与一致性哈希算法简介
前言 在我们的日常web应用开发当中memcached可以算作是当今的标准开发配置了。相信memcache的基本原理大家也都了解过了，memcache虽然是分布式的应用服务，但分布的原则是由client端的api来决定的，api根据存储用的key以及已知的服务器列表&…
使用深度学习阅读和分类扫描文档
作者|小白来源|小白学视觉收集数据首先，我们要做的第一件事是创建一个简单的数据集，这样我们就可以测试我们工作流程的每一部分。理想情况下，我们的数据集将包含各种易读性和时间段的扫描文档，以及每个文档所属的高级主题。我找不…
无聊的时候，冷死了（六）
阁下长得真是天生励志！好久没有听到有人能把牛吹得这么清新脱俗了！你出生时就丑的躲起来了，连你父母都不敢见你，你还怕有人举报你？你拉着一头猪逛街，很幸福的样子，我经过满怀同情的说࿱…
Java EE 开发环境搭建
下载安装Java EE SDK 版本：Java Platform,Enterprise Edition 7 SDK (with JDK 7u45) 下载页面： http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-7-sdk-with-jdk-u45-2066865.html 文件名：java_ee_sdk-7-jdk7-windows.exe…
memcacheq 服务安装与原理
memcacheQ是一个单纯的分布式消息队列服务。它的安装依赖于BerkeleyDB 和 libevent，所以要先安装这BerkeleyDB和libevent： 一，BerkeleyDB 下载软件包，http://download.oracle.com/berkeley-db/db-5.0.21.tar.gz解压缩后ÿ…
AI 帮忙找 Bug ，英特尔开源代码编程工具 ControlFlag
整理 | 孙胜出品 | CSDN近日，英特尔开源了自动代码调试工具 ControlFlag 源代码，ControlFlag 源码现在可通过 GitHub 获得。据了解，ControlFlag 可用来帮助更多开发者自主检测代码错误，主要利用 AI 自动识别软件和固件代码中的错误…