当前位置：首页 > 编程日记 > 正文

hung-yi lee_p15_机器学习深层网络比浅层网络好在哪

编程日记 2024-09-12 23:00:00

文章目录

- 疑问-为什么要那么多层
- - 简单解释
- 以语音识别为例
- - 语音识别基础
  - GMM的方法的缺陷
  - 深度学习的高明之处
  - 回到问题-为什么一层能解决还要多层
- 从电子工程(EE)角度解释
- - 一个电路的例子
- 日常角度解释
- - 剪窗花
- Deep Learning的优点
- - 适用于参数少的情况
  - End-to-end Learning
  - 面临复杂问题

疑问-为什么要那么多层

一层做的足够多，就可以了
在这里插入图片描述
如果参数总数一定，比较两种神经网络
矮胖vs.高瘦

结果显示：即使参数更少，高瘦的网络出错率更低

简单解释

为什么呢？
做DL其实就是在做模块化
在这里插入图片描述
例如，现在做这样一个影响分析：长发男，长发女，短发男，短发女，需要四个分类模型
但长发男的数据过少，会造成训练出的模型性能较弱(weak)

为了解决这个问题，我们可以把问题切分成两个，这样任一数据集中数据数量都不会太少
在这里插入图片描述
这样新的模型可以利用已经训练的模型，只需借助比较少的结果就能训练出好模型

总结一下就是
第一层是最基础的分类器，第二层把第一层输出作为输入，稍微复杂些，以此类推……
模组化的作用是把复杂的问题变简单了，就算训练集数据没那么多，也可以做好
AI = 大数据 + Deep Learning 的说法是误人的
在这里插入图片描述

以语音识别为例

语音识别基础

人类语言的架构
同一个音素（phoneme）会因为上下文不同发不同音
将 acoustic feature (声学特征)转成 state
每一段时间取一些数据得到 acoustic feature sequence
在这里插入图片描述

GMM的方法的缺陷

采用深度学习之前，GMM方法认为每一个state都是因素特征的一个固定分布（stationary distribution）
在这里插入图片描述
问题是state太多，测试数据不够
之前的解决方案是不同的state共用同一个分布，这些state称作tied-state
可看成指针(pointer)指向同一地址(same address)

saspace GMM 找出很多高斯，每个state的信息是key，key告诉我们从高斯库挑哪些高斯如135，通过训练知道挑哪些
刚才的假设基于所有音素都被独立建模，但是这对于人类的声音并不适用
如图，是人类语言所有的母音，只受舌头上下位置、前后位置、口型影响
如 i 的发音比 e 的发音舌头要靠上靠前，而 i 和 y 的舌头位置相同，口型不同
在这里插入图片描述

深度学习的高明之处

深度学习是怎么做的呢
学习一个深度神经网络(DNN)，其输入是一个音素特征(acoustic feature)，输出是该音素属于每种状态(state) a,b c…的概率
提升效率的关键在于，所有的状态共用一个DNN
DNN不是靠增加参数，暴力碾压的方法
在这里插入图片描述
为什么说这样能提升效率？
把DNN的某一个hidden layer取出
如图所示，每一个点代表一个音素特征(降到了二维)
颜色表示不同因素蓝色-i 黄色-u 黑色-a 红色-o 绿色-e
发现左右两幅图的5个母音分布几乎一样
可以见得，低层层做的事情是检测人的发音方式(the manner of articulation),之后的层再根据现在的结果决定其属于哪个state
因此所有的因素才可以共享相同的检测器集(the same set of detectors)
同时做到了模组化(modularization)，也就更有效率地利用了参数
在这里插入图片描述

回到问题-为什么一层能解决还要多层

回到之前的一层解决所有的理论(universality theorem)：
该理论只说能做到，却没说做到的效率
更深的网络效率是更高的
在这里插入图片描述

从电子工程(EE)角度解释

类比(analogy)神经网络和逻辑电路
像神经网络一样只要有两层逻辑门就可以表示任何布尔函数
但使用多层逻辑门实现相同功能的函数需要的门更少，更有效率
回到NN中，也就是我们需要的参数更少，需要的数据也就更少
在这里插入图片描述

一个电路的例子

假设现在要做奇偶校验检查(parity check)-数1的个数属于奇数还是偶数
如果2层，d个输入需要2^d个逻辑门
如果多层，逻辑门数量大大减少
数量级从O(2^d)降到了O(d)
在这里插入图片描述

日常角度解释

剪窗花

在这里插入图片描述
回到之前说的问题，linear model的死穴
因为加了DL，其实是做了特征转换，让点的位置变了
这个过程是不是很像折叠了平面
而剪窗花折叠的是纸，一个洞展开后变成5个
也就是一笔data发挥了五笔data的效力
也就是深度学习use data more effectively
在这里插入图片描述

Deep Learning的优点

适用于参数少的情况

如图所示
固定参数的量，改变训练数据的量
数据量少时，多层的，崩也崩得有迹可循
在这里插入图片描述

End-to-end Learning

复杂的函数是由很多简单函数组成
end-to-end training很像黑盒测试，只告诉输入输出是什么，中间的分工让机器自动学习
在这里插入图片描述
以语音识别为例
它的production line如图所示（不知道具体每个环节没有关系）

整个生产线只有最后的蓝盒子(函数)是由数据学出来的
前面的绿盒子(也是函数)都是人为做的
有了深度学习之后，那些绿盒子也可以由机器来做了，我们可以从log开始，从DCT
byebye MFCC