CV01-语义分割笔记和两个模型VGG ResNet的笔记
目录
一、语义分割
二、VGG模型
2.1 VGG特征提取部分
2.2 VGG图像分类部分
三、ResNet模型
3.1 为什么是ResNet
3.2 1×1卷积调整channel维度大小
3.3 ResNet里的BottleNeck
3.4 Global Average Pooling 全局平均池化
3.5 Batch Normalization
学习语义分割理论，学习两个经典的模型VGG & ResNet，记录一些自己认为重要的要点，以免日后遗忘。
一、语义分割
计算机视觉研究的分类问题，由简单到复杂经过以下几个阶段：
- 最初的，Image Classification，图像分类；比如，将一组（注意是一组，不是一个）图片分类，图片主体明显，将人物图像、风景图像等分为人物、风景、猫、狗等；
- 然后发展，Object Detection，目标检测；比如，在图像里找出某个对象并提取出来，将图片里的猫、狗用个框圈出来；
- 再后来发展到，Instance Segmentation，实例分割；实例分割与目标检测的区别是：目标检测只能用框框圈出猫、狗，框框也圈出了背景的像素，而实例分割可以把猫、狗的像素点全部标记出来而不标记背景像素；
- 目前，图片的分割已经到达了Semantic Segmentation，语义分割；语义分割就是将分类问题细化到像素级别，比如，图片里面每个像素都被标记为猫、草地、树木、天空等类别。所有像素都分类了，那么图片分类就达到了很精细的程度。
语义分割是一种稠密估计（Dense Predicttion）。以往的分类问题，最终的估值都是比输入小的，比如输入一张1024×768的图片，输出的或者是框框的坐标(x,y)，或者是实例的像素点，都比输入1024×768。而稠密估计，输出和输入是一样大的，输入是1024×768的图片，输入的也是1024×768的图片，输入的每个像素点都被标记一个label。
二、VGG模型
VGG本身不是语义分割用的，但是VGG模型的设计思想被沿用至今，我们可以认为VGG的做法都是以后人们在用的做法。VGG模型分成两个部分，一个是特征提取，一个是图像分类。
2.1 VGG特征提取部分
特征提取都是经过多层的“卷积→激活函数、再池化”来提取出特征值。
VGG大量使用3×3的卷积，3×3卷积有什么好处呢？
- 减少参数，防止过拟合的发生。从感受野（Receptive Field）来看，两个3×3的卷积相当于一个5×5的卷积，三个3×3的卷积相当于一个7×7的卷积，以此类推。但是，参数减少了，2×3×3小于5×5，3×3×3小于7×7……
- 两个3×3的卷积相当于一个5×5的卷积，那么两个3×3的卷积就有两个非线性的激活函数；三个3×3的卷积相当于一个7×7的卷积，那么三个3×3的卷积就有三个非线性的激活函数……这就有了更多的表现能力。
VGG每经过一次池化（spatial方向H×W都减半），通道数就会加倍（channel方向增大一倍）。
2.2 VGG图像分类部分
特征提取结束后，接全连接层。接全连接层，先用flatten将H×W的矩阵拉成一个一维向量。
三、ResNet模型
ResNet模型的出现使网络的深度大大增加。
3.1 为什么是ResNet
一般认为，当网络越来也深，其表现能力越强。但是，实际上网络的能力并不会随着深度增加一直增大，会出现网络的退化现象，也就是深度增加其能力反而不如浅层网络（其在测试集和训练集上的准确率都下降），这个不是过拟合（训练集上准确率提高，测试集上准确率下降）。
即使只增加恒等映射层，实验结果也是网络出现退化，随着深度的加深连学习一个恒等映射都变困难。所以，何恺明提出残差网络Residual Net。来解决这个问题。
如果我们要学习一个估值有困难，那么我们就定义残差
，学习残差
相对容易，然后我们用
来学习到原来的估值
。
为什么残差可以解决退化的问题呢？我个人的理解就是，经过深度网络的卷积、池化层操作，输入的信息损失太多。那么把这个损失的信息补回来就解决了退化问题。所以，每2个卷积就对结果加一次x，这样就不会造成输入信息的损失，网络层数可以一直加下去。
3.2 1×1卷积调整channel维度大小
因为卷积、池化操作，导致channel发生了变化，所以需要对输入x做channel方向调整，才能做加法。注意里面的加号是张量的加法，不是直接加。
举例，输入的是RGB图像，也就是3×H×W的输入。经过卷积、池化等，就变成了64×H×W的维度，要相加，那么输入x也要变成channel=64。那么，1×1卷积就解决了这个问题。1×1卷积不改变spatial的大小，只改变channel的大小。
3.3 ResNet里的BottleNeck
随着深度的增加，每一层的参数个数会变的非常大（主要是channel变大，channel每层增大一倍，50层以上channel很大）。上面提到ResNet就是在计算得到的输出上加输入。
- 第一种卷积计算就是直接计算输出，加上输入就可以了，被称为BasicBlock。比如左图中，输入是channel=64，卷积计算和输出都是channel=64。
- 第二种channel很大的情况，解决办法是用1×1卷积调整维度，将channel降下来，算好了以后再用1×1卷积将channel升上去，被称为BottleNeck。比如右图中，输入channel=256，先1×1卷积将channel降到64，计算输出是channel=64，再用1×1卷积将channel升到256，在做加法。
256——64——256就像瓶颈一样——BottleNeck。
3.4 Global Average Pooling 全局平均池化
为了连接全连接层。需要把矩阵拉成一维向量，以前办法是flatten。C×H×W的张量，经过flatten变成了一维向量，有CHW个元素。
而全局平均池化的意思，实际上就是池化的kernel_size和输入大小相同，这样每个channel就只有一个平均值输出。C×H×W的张量，经过全局平均池化变成了C×1×1，有C个元素。
全局平均池化的好处就是，全连接层的参数大大减少，避免过拟合。
3.5 Batch Normalization
为什么conv里面的bias=False？因为，后面有Batch Normalization。如果conv就加bias，卷积后做batch normalization还要再加bias，那么conv的bias就无效了。所以，后面如果有bn就不加bias。
相关文章：
matlab编程实现k_means聚类（k均值聚类）
1. 聚类的定义 以下内容摘抄自周志华《机器学习》 根据训练数据是否拥有标记信息，机器学习任务可以大致分为两大类：“监督学习”（supervised learning）和“无监督学习”（unsupervised learning）。分类和回…
一目了然了解JAVA集合体系
在编程中，常常需要集中存放多个数据。从传统意义上讲，数组是我们的一个很好的选择，前提是我们事先已经明确知道我们将要保存的对象的数量。一旦在数组初始化时指定了这个数组长度，这个数组长度就是不可变的，如果我们需…
杭电1175简单搜索 连连看
连连看 Time Limit: 20000/10000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 34807 Accepted Submission(s): 8657 Problem Description “连连看”相信很多人都玩过。没玩过也没关系，下面我给大家介绍一下游戏规则&#…
IOS专栏目录
IOS 专栏目录 iOS基础篇 iOS高级篇 ios架构篇-1 项目组织架构 ios架构篇-2 国际化多语言 iOS架构篇-3 网络接口封装 iOS架构篇-4 架构模式MVVM iOS架构篇-5 CI/CD(持续集成、持续交付、持续部署) iOS专题1-蓝牙扫描、连接、读写 iOS 直播专题1-直播流程原理 iOS 直播专题2-…
CV03-双线性差值pytorch实现
一、双线性差值 1.1 公式 在理解双线性差值（Bilinear Interpolation）的含义基础上，参考pytorch差值的官方实现注释，自己实现了一遍。 差值就是利用已知点来估计未知点的值。一维上，可以用两点求出斜率，再…
matlab编程实现基于密度的聚类（DBSCAN）
1. DBSCAN聚类的基本原理 详细原理可以参考链接： https://www.cnblogs.com/pinard/p/6208966.html 这是找到的相对很详细的介绍了，此链接基本仍是周志华《机器学习》中的内容，不过这个链接更通俗一点，且算法流程感觉比《机器学习…
EAST 自然场景文本检测
自然场景文本检测是图像处理的核心模块，也是一直想要接触的一个方面。刚好看到国内的旷视今年在CVPR2017的一篇文章：EAST: An Efficient and Accurate Scene Text Detector。而且有开放的代码，学习和测试了下。 题目说的是比较高效࿰…
通过httpmodule获取webapi返回的信息
我写了一个webapi，想在module中获取请求的信息和返回的信息，写进log里，以方便以后查询。request信息很容易能拿到，但是返回信息得费一番周折。不多说，上代码 public class ResponseLoggerModule : IHttpModule {privat…
iOS SwiftUI篇-2 UI控件 Text Button Image List
iOS SwiftUI篇-2 UI控件 Text Button Image List Text 显示文本，相当于UILabel import SwiftUIstruct TextContentView: View {var body: some View {//VStack（垂直排列视图）可以将其内部的多个视图，在垂直方向进行等距排列,VStack最多可以容纳十个子视图，VStack(spacin…
numpy和torch数据操作对比
对numpy和torch数据操作进行对比，避免遗忘。 ndarray和tensor import torch import numpy as npnp_data np.arange(6).reshape((2, 3)) torch_data torch.arange(6) # 张量 tensor2array torch_data.numpy()print(\nnumpy array:\n, np_data,\ntorch tensor\n,…
ZooKeeper学习
一、ZooKeeper 的实现 1.1 ZooKeeper处理单点故障 我们知道可以通过ZooKeeper对分布式系统进行Master选举，来解决分布式系统的单点故障，如图所示。 那么我们继续分析一下，ZooKeeper通过Master选举来帮助分布式系统解决单点故障， 保…
iOS SwiftUI篇-1 项目结构
iOS SwiftUI篇-1 项目结构 介绍Xcode新建的SwiftUI模版项目结构、跟普通Storyboard模版项目的差异、SwiftUI项目的app启动流程、UIScene概念介绍、AppDelegate.swift和Info.plist的差异 1.项目模版 Interface: SwiftUI Life Cycle: UIKit App Delegate Language: Swift Life…
js绑定事件和解绑事件
在js中绑定多个事件用到的是两个方法:attachEvent和addEventListener,但是这两个方法又存在差异性 attachEvent方法 只支持IE678,不兼容其他浏览器addEventListener方法 兼容火狐谷歌,不兼容IE8及以下 addEventListener方法 div.addEventListener(click,fn); div.addEventLi…
基于三维点云数据的主成分分析方法（PCA）的python实现
主成分分析（PCA）获取三维点云的坐标轴方向和点云法向量 # 实现PCA分析和法向量计算，并加载数据集中的文件进行验证import open3d as o3d # import os import numpy as np from scipy.spatial import KDTree# from pyntcloud import PyntClo…
CV02-FCN笔记
目录 一、Convolutionalization 卷积化 二、Upsample 上采样 2.1 Unpool反池化 2.2 Interpolation差值 2.3 Transposed Convolution转置卷积 三、Skip Architecture 3.1 特征融合 3.2 裁剪 FCN原理及实践，记录一些自己认为重要的要点，以免日后遗…
python基础之常用模块
6、TEXT PROCESSING SERVICES ：文本处理服务 6.1、re 8、DATA TYPES : 数据类型 8.1、datetime 8.2、collections 8.3、copy 9、 NUMERIC AND MATHEMATICAL MODULES : 数字和数学模块 9.1、random 10、FUNCTIONAL PROGRAMMING MODULES : 函数式编程模块 10.1、iter…
笔记本电脑摄像头实现光流跟踪
看实验室里的师兄在写CSDN，自己也写一个，记录自己的学习进程吧。 研究生从机械转到了毫无基础的SLAM领域。研一半年上课加自学，对SLAM也有一丢丢的了解。最近看光流法时，想到用笔记本电脑的摄像头实现一下，就简单的…
JSON字符串 拼接与解析
常用方式: json字符串拼接（目前使用过两种方式）： 1.运用StringBuilder拼接 StringBuilder json new StringBuilder(); json.append("{"); json.append(""uuid":" """ uuid "",&q…
iOS SwiftUI篇-3 排版布局layout
iOS SwiftUI篇-3 排版布局layout swiftUI提供的layout有： ZStack、GeometryReader、HStack、LazyVGrid、LazyHStack、LazyHGrid、LazyVStack、VStack、Spacer、ScrollViewReader等 HStack 水平横向布局容器，子view按顺序水平排列 HStack(alignment: .center, spacing: 10)…
CV04-UNet笔记
目录 一、UNet模型 二、Encoder & Decoder 2.1 Encoder 2.2 Decoder 2.3 classifier 学习U-Net: Convolutional Networks for Biomedical Image Segmentation，记录一些自己认为重要的要点，以免日后遗忘。 代码：https://github.com/…
Scrapy 学习笔记（-）
Scrapy Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 A…
Ubuntu18.04运行ORB_SLAM2
运行环境：Ubuntu18.04 预先安装的库 需要预先安装一些库，如Eign，Sophus，OpenCV等。笔者在阅读《SLAM十四讲》的时候已经安装，在此不再赘述。 ORB_SLAM2源码的下载与编译 git clone https://github.com/raulmur/ORB…
java中的各种流（老师的有道云笔记）
内存操作流-字节之前的文件操作流是以文件的输入输出为主的，当输出的位置变成了内存，那么就称为内存操作流。此时得使用内存流完成内存的输入和输出操作。如果程序运行过程中要产生一些临时文件，可采用虚拟文件方式实现；直接操作磁…
iOS SwiftUI篇-4 注解@State、@Binding、@ObservedObject、@EnvironmentObject、@Environment
iOS SwiftUI篇-4 注解@State、@Binding、@ObservedObject、@EnvironmentObject、@Environment @State 关联View的状态，当@State修饰的属性改变时，对应的View会跟着刷新，符合MVVM的设计理念 @State var count: Int = 0Section(header: Text("@States")) {Te
CV05-ResNet笔记
目录 一、为什么是ResNet 二、Residual Learning细节 2.1 shortcut计算 2.2 11卷积调整channel维度大小 2.3 ResNet层数 2.4 ResNet里的Basic Block 和 Bottleneck Block 2.5 Global Average Pooling 全局平均池化 2.6 Batch Normalization 学习ResNet，记录…
二叉树的前序，中序，后序的递归、迭代实现
二叉树的前序遍历 递归实现 递归实现没什么好说的。个人感觉将函数功能看成一个整体，不要去想栈中怎么实现的。毕竟自己的脑袋不是电脑，绕着绕着就蒙了。 void preordered_traversal_recursion(TreeNode* root) {if(root NULL) return;container.pus…
DataSet 动态添加列
public DataSet GetNewId(List<string> IdArr){DataSet ds new DataSet();DataTable newtb new DataTable();DataColumn column new DataColumn("cnt", typeof(string));//新增列newtb.Columns.Add(column);for (int i 0; i < IdArr.Count; i){StringBu…
iOS专题1-蓝牙扫描、连接、读写
iOS专题1-蓝牙扫描、连接、读写 概念 外围设备 可以被其他蓝牙设备连接的外部蓝牙设备，不断广播自身的蓝牙名及其数据，如小米手环、共享单车、蓝牙体重秤 中央设备 可以搜索并连接周边的外围设备，并与之进行数据读写通讯，如手机 日常生活中常见的场景是手机app通过蓝…
CV06-Xception笔记
目录 一、为啥是Xception 二、Xception结构 2.1 Xception结构基本描述 2.2 实现细节 2.3 DeepLabV3改进 三、记录pytorch采坑relu激活函数inplaceTrue Xception笔记，记录一些自己认为重要的要点，以免日后遗忘。 复现Xception论文、DeepLabV改进的…
C++排序算法实现（更新中）
比较排序法：如冒泡排序、简单选择排序、合并排序、快速排序。其最优的时间复杂度为O(nlogn)。 其他排序法：如桶排序、基数排序等。时间复杂度可以达到O(n)。但试用范围有要求。 桶排序：排序的数组元素跨距不能很大。因为跨距很大的话…