当前位置：首页 > 编程日记 > 正文

hung-yi lee_p12_深度学习简介

编程日记 2024-09-12 23:40:00

文章目录

三个步骤
- step 1
- - fully connect feedforward network
  - 神经网络原理
  - 从非DL到DL什么变了
- step 2
- step 3
- - backpropagation

注意这是篇头重脚轻的博客。大部分都在讲step1，2、3是飞快过去。

三个步骤

在这里插入图片描述

step 1

许许多多的逻辑回归（神经元）模型组成的神经网络
不同的连接方式导致不同的网络结构
网络参数蕴含在神经元模型中
在这里插入图片描述
与之前的线性回归，生成模型，判别模型不同的是，需要设计连接方式，之前是没有这个步骤的

fully connect feedforward network

最常见的连接方式/神经网络结构
在这里插入图片描述
也就是当连接方式，每一个神经元的参数确定下来，整个神经网络可以看作一个函数，输入输出都是一个向量
那么当参数未知时，我们可以定义一个函数集

“输入层”和其他层其实不一样，不是由神经元组成的，不算是一层
输出层是神经元组成的
中间的的都叫hidden layers，所谓deep，就是有很多hidden layers
在这里插入图片描述

神经网络原理

从输入到输出，其实是做了一连串的矩阵运算（乘法和加法）
在这里插入图片描述
写成矩阵运算的好处是可以使用GPU（并行计算技术）加速

可以将输出层之前所有真正的层（即隐藏层）做的事看成是特征提取，也就是替代人做的特征工程
输出层做的事情是充当一个多类别分类器，整个输出层可看成一个softmax函数
在这里插入图片描述
例：手写体识别，输入是256维，输出是10维，取概率最大的当作结果

也就是充当手写体识别的是hidden layers和output layers

从非DL到DL什么变了

其实是把问题转化了，在没有DL时，需要做特征转换，得到一组比较好的特征。有了DL之后，可以直接把输入丢进模型。但DL制造的问题是加了决定网络的结构。
如果是语音、图像识别，决定网络结构应该比特征工程容易。（因为我们不知道人究竟怎么辨识语音和图像，决定特征很难）
在NLP方面则DL相对传统做法优势不那么显著。（因为人对语言掌握更多，设计特征时有迹可循）

Q1 可以让机器自己决定结构吗
可以的。
Q2 可以人为设计网络结构替代全连接前馈吗
ex:CNN