一文读懂：GoogleNet的Inception从v1到v4的演变
来源 | 机器学习炼丹术
GoogleNet和VGG是ImageNet挑战赛中的第一名和第二名。共同特点就是两个网络的层次都更深了。但是：
VGG继承了LeNet和AlexNet的一些框架结构
而GoogleNet则做了更大胆的尝试，虽然深度有22层，但是参数却是Alexnet的1/12.而VGG都是Alexnet的三倍，由此可见，在内存和计算资源有限的时候，GoogleNet是好的结构，而且这个的性能更加优越，碾压VGG。
Inception v1
总之，Inception是GoogLeNet的核心，GoogLeNet优秀，一方面是运算速度快，而这就是Inception的功劳。
设计一个稀疏网络结构，但是怎么产生稠密的数据呢。就用这个!CNN中常见的三种卷积核，和池化操作堆叠在一起，一方面增加了网络的宽度，另一方面也加强了网络对尺度的是影响。但是这个原始的版本思路是好的，但是计算量太大了，因此作者对3x3和5x5的卷积层之前用了1x1的缩小图片的channel数量，因此V1是这个样子：
【1x1的卷积核有什么用呢？】
1x1卷积的主要目的是为了减少维度，还用于修正线性激活（ReLU）。比如，上一层的输出为100x100x128，经过具有256个通道的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256，其中，卷积层的参数为128x5x5x256= 819200。而假如上一层输出先经过具有32个通道的1x1卷积层，再经过具有256个输出的5x5卷积层，那么输出数据仍为为100x100x256，但卷积参数量已经减少为128x1x1x32 + 32x5x5x256= 204800，大约减少了4倍。
【为什么会有池化层在其中呢？】
一般来说，想让图像缩小，有以下两种方式：
但是左边的方法先池化层后inception，这样会导致特征的缺失，而右边的方法，会导致运算量很大。为了同时保持特征并且降低运算发，将网络改成下图，使用两个并行化的模块来降低计算量，也就是池化，卷积并行，然后再合并
inception V2
设计人员想，如果只是单纯的堆叠网络，虽然可以提高准确率，但是会导致计算效率的下降，如何在不增加过多额计算量的同时提高网络的表达能力呢？
【卷积分解（Fatorizing Convolutions）】
大尺寸的卷积核可以带来更大的感受野，但是也意味着更多的参数，比如size=5的卷积核有25个参数，size=3的有9个参数。GoogLeNet团队提出可以用2个连续的3x3的卷积核组成小网络来代替单个size=5的卷积层：
通过大量的实验证明，这样的方案并不会导致表达的缺失。更进一步，团队考虑了nx1的卷积核，如下图：
因此，任意的nxn的卷积都可以通过nx1后接上1xn来代替。但是团队发现在网络的前期使用这样分解的效果并不好，在中部使用效果才会好。
团队更新了网络中的Inception的结构，如下图：
figure5是原来的v1版本，然后figure6是改成两个3x3的版本，然后figure7是改成了1xn和nx1的版本。
inception v3
最重要的改进就是分解Factorization，把7x7分解成两个一维的卷积（1x7和7x1），3x3的也是一样，这样的好处是，既可以加速运算，又可以将一个卷积拆成两个卷积，这样使得网络的深度进一步加深，并且增加了网络的非线性。（每增加一层都要用ReLU），此时网络的输入也从224x224变成299x299。
Inception v4
研究了Inception模块与残差连接的结合，ResNet结构大大加深了网络的深度，而且极大的提高了训练速度。总之，Inception v4就是利用残差连接（Residual Connection)来改进v3，得到Inception-ResNet-v1, Inception-ResNet-v2, Inception-v4网络 我们先简单的看一下什么是残差结构：
结合起来就是：
然后通过二十个类似的模块，得到：
推荐阅读
一只端午节鸭蛋粽子的背后：AI 与农业
高文、张钹、杨强隔空论道：AI精度与隐私的博弈
90行Python代码，让张小龙的微信地球转起来
突发！印度封禁抖音、微信、快手等 59 款中国 App
厉害！国内大学生计算机编程第一人，一人挑战一个队，百度最年轻 T10，现创业自动驾驶
Balancer因通缩代币STA遭遇闪电贷攻击，价值50万美元资产被黑
浅谈分布式存储中的网络通信
你点的每个“在看”，我都认真当成了AI
相关文章：
几何画板画一个五边形内部的方法
五边形属于多边形里面比较简单的，就是在四边形的基础上增加一条边而已，五边形在平面几何学上指所有由五条边围衬成及有五个角的多边形。完美五边形和正五边形都是五边形的一种特殊类型。几何画板作为专业绘图工具，可以轻松就画出五边形&#…
GDAL Data Model（转）
即描述一个GDAL data store能够包含的信息的类型。 Dataset 一个dataset （即一个GDALDataset 对象）是一组相关的raster bands和一些属于它们的公共信息的集合。尤其是dataset有一个适用于它所有bands的关于raster size的概念，它是用pixels 和…
实战：人脸识别实战项目（源码共享）
首先我想问个问题：现在什么工程师最值钱？毫无疑问，我想超 90% 的都会说：人工智能工程师。也难怪，随着近几年人工智能的发展，已经逐渐渗透到了各个领域，比如：医疗、教育、机械自动化、…
Calendar如何只显示“一、二、三...日”，不显示“星期”
秋水无恨 asp.net Calendar DayNameFormat Globalization DayNames http://www.csdn.net/develop/Read_Article.asp?id15715 Calendar的DayNameFormat，如FirstLetter ，FirstTwoLetters ，Full ，Short 但是争对英文而言的…
gulp插件之browser-sync安装报错
2019独角兽企业重金招聘Python工程师标准>>> 最近做前端开发，一直用gulp来写一些自动化脚本。之前用的npm的镜像为edunpm，很简单，因为这个镜像非常的快。 但是不知道为什么browser-sync插件总是下载不成功。。。 后来用nrm切换到t…
TensorFlow、PyTorch之后，“国产”AI框架还有没有机会？
出品 | AI科技大本营（ID:rgznai100）众所周知，在机器学习框架领域，PyTorch、TensorFlow已分别成为目前学界和业界使用最广泛的两大实力玩家，而紧随其后的Keras、MXNet等框架也由于其自身的独特性受到开发者的喜爱。 202…
结构成员访问的三种方法
结构成员访问的三种方法 #include "stdio.h"#include "string.h"#include <stdlib.h>main (){struct student{int num;char * name;int score;}stu;struct student *p&stu;stu.num1;(*p).name"tom";p->score78;printf("%d\n&q…
数据库字段命名及设计规范
1.设计原则 1) 标准化和规范化数据的标准化有助于消除数据库中的数据冗余。标准化有好几种形式，但 Third Normal Form（3NF）通常被认为在性能、扩展性和数据完整性方面达到了最好平衡。简单来说，遵守3NF 标准的数据库的表设计原则是…
更改管理GPO的域控制器
1.GPO先被存储到扮演PDC模拟器操作主机角色的域控制器，然后再由它将其复制到其他域控制器，域成员计算机再通过域控制器来应用GPO.2.可通过DC选项与组策略两种方式来将管理GPO的域控制器从PDC模拟器操作主机更改为其他域控制器。转载于:https://blog.51ct…
怎样使元素可编辑
作者：http://lucky.myrice.comE-mail:amxh21cn.com 在IE5.5中，可以设定元素的编辑属性。语法如下： object.contentEditable [ sEditable]; 其中的sEditable为下列三个之一： ◇inherit ◇false ◇true <script lang…
知乎多场景内容匹配方案荣获CSDN AI优秀案例奖
7月3日，由CSDN主办的2020 AI开发者大会拉开帷幕，以直播形式进行吸引了上万名技术从业者参与。大会颁发了2020 AI企业及技术应用系列奖项，其中知乎凭借“多场景内容匹配方案”荣获“AI优秀案例奖”。 过去一年，人工智能技术研发和…
批量创建用户和设置密码
(1) 首先创建用户名文件和密码文件 # touch user_name passwd active:/srv # cat passwd win00:123456 win01:123456 active:/srv # cat user_name win00:x:520:520::/home/win00:/bin/bash win01:x:521:521::/home/win01:/bin/bash (2) 然后执行命令导入用户名和密码 a…
Eclipse 小插件
http://www.junginger.biz/eclipse/
肝了三天，万字长文教你玩转 tcpdump，从此抓包不用愁
图源 | 视觉中国来源|Python编程时光（ID: Cool-Python）今天要给大家介绍的一个 Unix 下的一个 网络数据采集分析工具 -- Tcpdump，也就是我们常说的抓包工具。与它功能类似的工具有 wireshark ，不同的是，wireshark 有图…
【中文】Joomla1.7扩展介绍之Fabrik （强大的表单处理能力）
Fabrik 插件分类： Contacts & Feedback > Forms 支持版本：1.5 /1.7 关注程度：【最流行的】 所属类型：组件、模块、插件、多语言 Fabrik 2.1.1 is a security fix, please update immediately Fabrik 2.1.1是一个安全…
CPU的序列号
可以取CPU的序列号。 string cpuInfo "";//cpu序列号 ManagementClass cimobject new ManagementClass("Win32_Processor"); ManagementObjectCollection moc cimobject.GetInstances(); foreach(ManagementObject mo in moc) { cpuInfo mo.Properties…
Sqli-labs less 9
Less-9 本关我们从标题就可以看到 《基于时间-单引号》，所以很明显的这关要我们利用延时注入进行，同时id参数进行的是 的处理。这里我们大致的将延时注入的方法演示一次。 这里用sleep()函数。 这里因为我们利用的是时间的延迟，贴图就没有意…
用ASP.NET上传图片并生成带版权信息的缩略图
作者：活靶子 出处：AspxBoy.Com <% Page Language"C#" ResponseEncoding"gb2312" %><% import Namespace"System" %><% import Namespace"System.IO" %><% import Namespace"Sys…
服务器ping你可以ping通，你ping服务器ping不同的解决方案！！
这几天让公司的服务器弄的蛋疼啊！！三天两头的出问题，主管脸色不大好看，我这里也郁闷的要死。所以发誓一定要把好安全关！！ 今天在自己的虚拟机上边装了一个winserver2003标准版，搭建好环境之后发…
重磅！CSDN 发布「AI开源贡献奖Top5」「AI新锐公司奖Top10」「AI优秀案例奖Top30」三大榜单...
2020 年无疑是特殊的一年，AI 在开年的这场“战疫”中表现出惊人的力量。站在“新十年”的起点上，CSDN发起【百万人学AI】评选活动。我们继续聚焦AI的技术落地，关注开源和新生的力量。作为CSDN第三届AI评选活动，本次活动受到数百家…
linux 模拟生成 CAN 设备
/*************************************************************************************** linux 模拟生成 CAN 设备* 说明：* 最近在看CANopenSocket的过程中看到能够生成模拟的CAN设备，于是查了点资料，结…
关于委托的精彩解说
作者：TomMax (笑望人生) 出处：csdn community 主 题： “.net百题问答的活动”--许多人问过的--《 C#委托及事件 》作 者： TomMax (笑望人生) 信 誉 值： 100 所属论坛： .NET技术 C# 问题点数&am…
[转载]ESFramework 4.0 快速上手（15） －－ 客户端登录验证
ESFramework 4.0 快速上手（15） －－ 客户端登录验证 在之前版本的Rapid引擎中，是没有提供客户端登陆验证的机制的，如果要验证用户的帐号密码信息，我们只有自己手动通过自定义信息来实现。在2011.…
编程能力差，90%输在了这点上！CTO：这样学编程 ，更容易成为高手
从事 Python 这些年中，我见过很多 Python 教程和书籍，他们大都这样讲 ：先介绍 Python 的基本语法规则、list, dict, tuple 等数据结构，然后再介绍字符串处理和正则表达式，介绍文件等 IO 操作.... 就这样一点一点往下说…
MVC 之 架构的基本原理及Asp.Net实现MVC
一、引言 许多Web应用都是从数据存储中检索数据并将其显示给用户。在用户更改数据之后，系统再将更新内容存储到数据存储中。因为关键的信息流发生在数据存储和用户界面之间，所以很多应用将数据和用户界面这两部分绑在一起，以减少编码量并提高…
vsftp虚拟用户
虚拟用户 1、建立虚拟用户口令库文件 #cat logins.txt mike 123 john 321 口令库文件中奇数行设置用户名，偶数行设置口令 2、生成vsftpd的认证文件 #rpm -ivh db4-utils* #db_load -T -t hash -f /root/logins.txt /etc/vsftpd/vsftpd_login.db 生成认证文件 设置…
在asp.net(C#)中怎么获得一个目录的大小?
作者：靶子&MSDN 出处：msdn 本方法来自以下文档,有问题多翻帮助 ;)ms-help://MS.NETFrameworkSDKv1.1.CHS/cpref/html/frlrfsystemiodirectoryclasstopic.htmms-help://MS.VSCC.2003/MS.MSDNQTR.2003FEB.2052/cpref/html/frlrfsystemiodirectory…
360金融首席科学家张家兴：我们如何做数据AI融合中台？
2020年7月3—4日，在CSDN 主办的第三届 AI 开发者万人大会（AI ProCon 2020）上。360金融首席科学家张家兴博士以“数据AI融合中台——金融领域人工智能实践”为题，揭秘了360金融在金融科技领域的前沿技术理念与实践心得。 张家兴认…
GoogleFusionTablesAPI初探地图与云计算
http://developer.51cto.com/art/200906/129324.htm http://yexiaochai.iteye.com/blog/1893735 http://yexiaochai.iteye.com/blog/1893734
关于ASPNET在IIS一些问题的经验总结
作者：未知 请速与本人联系 出处：mscommunity 很多开发人员对于IIS和ASPNET的安装等问题困扰,特此做下面的小总结,请大家多交流!iis 坏了修复办法!!!!!!! 一般IIS运行不了ASP.NET,试一下下面四种方法，99％有效： 1。…