深度学习基础总结，无一句废话（附完整思维导图）
作者 | Python与算法社区
责编 | Carol
封图 | CSDN 付费下载于自视觉中国
线型回归
预测气温、预测销售额、预测商品价格等
模型：权重，偏差
模型训练：feed 数据学习模型参数值，使得误差尽可能小
训练集、测试集、验证集、样本、标签、特征
损失函数：回归常用平方误差函数；
优化算法：小批量随机梯度下降（每次选一小批样本训练参数），每批样本大小叫做 batch size
学习率：正数
超参数：不是通过训练学出的，如学习率，批量大小
网络输出层只有一个神经元节点
全连接层：输出层中的神经元和输入层中各个输入完全连接
基本要素：模型、训练数据、损失函数和优化算法
softmax 回归
图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等
softmax运算符将输出值变换成值为正，且和为1的概率分布
交叉熵损失函数：更适合衡量两个概率分布差异
softmax 回归是一个单层神经网络，输出个数等于类别个数
多层神经网络
激活函数：一种非线性函数
ReLU函数：只保留正数元素，负数元素清零
sigmoid函数：将元素值变换到0到1
tanh(双曲正切)：元素值变换到-1到1
模型选择
模型在训练集上更准确时，不代表在测试集上就一定准确。
训练误差：训练数据集上表现出的误差；泛化误差：模型在测试集上表现的误差期望
机器学习需要关注降低泛化误差。
模型选择：评估若干候选模型的表现并从中选择模型
候选模型可以是有着不同超参数的同类模型
验证集：预留训练和测试集之外的数据； 折交叉验证：训练集分成份，共次轮询训练集
欠拟合：模型无法得到较低的训练误差
过拟合：模型的训练误差远小于测试集上的误差
模型复杂度：低，容易欠拟合；高，容易过拟合
数据集大小：训练样本少，尤其少于学习参数数时，容易过拟合；层数多时尽量数据大些
必知技巧
过拟合解决措施之一：权重衰减，常用L2正则
L2惩罚系数越大，惩罚项在损失函数中比重就越大
丢弃法(dropout)：一定概率丢弃神经元
正向传播：沿着输入层到输出层的顺序，依次计算并存储模型的中间变量
反向传播：从输出层到输入层参数调整过程
训练深度学习模型时，正向传播和反向传播间相互依赖
数值稳定性的问题：衰减和爆炸
层数较多时容易暴露，如每层都是一个神经元的30层网络，如果权重参数为0.2，会出现衰减；如果权重参数为2，会出现爆炸
权重参数初始化方法：正态分布的随机初始化；Xavier 随机初始化。
思维导图
以上1-5节的完整思维导图，制作出来方便大家更好学习：
推荐阅读
真没想到，Python 还能实现 5 毛特效
作词家下岗系列：教你用 AI 做一个写歌词的软件
AI修复100年前晚清影像喜提热搜，这两大算法立功了
阿里云自研数据仓库 AnalyticDB 再捧 TPC 全球冠军
调查了 17,000 多位程序员，当前的云原生开发现状究竟如何？
CSW：惊天巨骗 or 比特币“图腾”中本聪？
从 0 到 70%：Chrome 上位揭秘！
你点的每个“在看”，我都认真当成了AI
相关文章：
unity, monoDevelop ide 代码提示不起作用的解决方法
monoDevelop ide 代码提示不起作用，可能是因为ide里索引了一些不存在的文件，检查一下solution窗口里是否有文件变红，如下图中springControlEx.cs。将变红的文件remove掉，然后去unity菜单中点File->Save Project。
DeeCamp 2020 赛题大公开！快来看你想选哪个
DeeCamp 2020 开放性竞赛赛题来啦，快来看看有没有你感兴趣的题目！加入DeeCamp2020，你将和来自全球的优秀小伙伴组队挑战真实世界的难题，还能冲刺大奖。五大赛道，14个新颖赛题，总有一款适合你！De…
Combox控件下拉选择不同值触发的动作响应
项目中需要根据combox控件下拉列表选择不同的值，然后能触发相应的动作。比如我的项目中，通过combox空间的下拉列表选择不同的C盘，D盘，E盘，F盘，然后能在list控件中把各个盘符的文件目录列出来。 那么触发…
不用se11创建表结构，作smartforms
Call form时不用传内表，切记。 1。在Global Definitions->types页面里输： types:begin of wa_test, matnr like mara-marnt, maktx like makt-maktx, end of wa_test. types:it_test type wa_test occurs 1. 2. 在Global Definitions->Global Data…
linux入门（三）常见Linux指令及其用法
一、上回说到说到Linux的shell指令运行的原理，这回我们来看看Linux中shell的权限管理，所谓的“权限”是指某一类人做某一件事的权利。在shell中这一类人被分为了三种：（1）文件拥有者user（2）文件拥…
设置Enter键为默认键
进行MFC编程中，很多时候需要设置快捷键，比如我的项目中，播放器的实现，需要快进、快退、播放、暂停等，除了具体的按钮操作外应该还能通过键盘的快捷键来进行操作。 关于如何设置一个菜单的快捷键或是一个按钮的快捷键&…
MAML-Tracker：用目标检测思路做目标跟踪？小样本即可得高准确率丨CVPR 2020
来源 | 微软研究院AI头条（ID: MSRAsia）编者按：目标检测与目标跟踪这两个任务有着密切的联系。针对目标跟踪任务，微软亚洲研究院提出了一种通过目标检测技术来解决的新视角，采用简洁、统一而高效的“目标检测小样本学习…
从哲学角度分析，框架的[无用之用]效果
小树的用途少，人们不理睬它、不砍伐它、才有机会长成有用之巨木，此为「无用」之用﹗老子说过：「人皆知有用之用，而莫知无用之用」，这与框架观念是一致的。 数千年前，老子提出了这「有、无」哲理，…
xtrabackup2.4 备份Precona5.6数据库，做增量备份与还原
1、Full backuop，一定要先做: innobackupex --defaults-file/etc/my.cnf --userroot --passwordevlink /home/mysql/backup/2、Incremental backup，可以每隔一小时或者三小时做一次: innobackupex --defaults-file/etc/my.cnf --userroot --passw…
MFC按钮添加提示文字
转载自： http://blog.163.com/guo_linda/blog/static/12377305720101122105030162/ MFC里这个类叫做CToolTipCtrl，具体用法很简单。 1、在类头文件中声明CToolTipCtrl的类对象m_ctrlTT。 2、在初始化函数OnInitDialog()中设置m_ctrlTT。 EnableTool…
Go远超Python，机器学习人才极度稀缺，全球16,655位程序员告诉你这些真相
作者 | 唐小引题图 | HackerEarth 报告出品 | AI科技大本营（ID：rgznai100）Go 正变得越来越受开发者欢迎。几年前，滴滴的工程师曾告诉我，在滴滴 Go 已经得到了非常广泛的应用，去年，在腾讯内部使用…
WinCE中命令行工具Viewbin简介（查看nk.bin中包含的文件）
Viewbin是微软提供的一个命令行工具，在WinCE5.0和WinCE6.0中，可以在"/WINCE600/PUBLIC/COMMON/OAK/BIN/I386"找到他。Viewbin工具可以用来查看NK.bin文件。它可以从NK.bin中获得这个NK image的大小，运行的起始地址等。还能查看到里…
元素多层嵌套，JS获取问题
如果一段html嵌套过多，在js中获取还是比较麻烦的，我写了几套方案，大家可以参考参考，如果你有好的方法，也分享出来，让我们瞧瞧。 HTML： <!DOCTYPE html> <html lang"en"> …
MFC静态文本控件设置超链接
有时我们需要在窗口上设置一个超链接，比如在Aboutdlg上设置“我的博客”这样的超链接.具体的设置方法如下。 1、首先我们在窗体上添加一个Static文本控件，修改Caption属性，设置成你想要的超链接标题，比如“更多内容欢迎访问小梦的…
百度云「升级战」：王海峰站台，新架构全面AI化，AI和知识中台登场
5月18日，"ABC SUMMIT 2020百度夏季云智峰会"在线上召开。刚刚经历了人事变动的百度云迎来重磅升级，大会以"百度智能云加速产业智能化"为主题，百度智能云全新战略、新架构首次亮相，AI中台、知识中台两大创新平…
Mysql实现非程序控制读写分离
五一假期，有个博友给我发邮件，说我的这篇blog：http://bobwu.blog.51cto.com/2918362/537077 只能通过程序员在程序中实现读写分离，咨询能否实现程序员无察觉的读写分析，呵呵，我明白意思。回答是肯定的&…
MFC系统托盘的实现
通常电脑里边的软件，当你打开后会在电脑最右下角的任务栏上生成一个系统托盘，当你点击最小化或者点击关闭按钮后，若想恢复窗口，可以左键双击或者单机这个系统图标，同时鼠标右键点击，又会有其他的菜单弹出&a…
王海峰发布百度智能云最新架构，推出AI中台和知识中台
5月18日，在百度云智峰会上，百度CTO王海峰发布最新百度智能云架构规划。首先，他分享了百度利用AI、大数据、云计算等技术帮助疫情防控、复工复产的成果：AI多人测温1周检测2700万人次，时空大数据记录人流迁徙24亿人次&am…
Linux虚拟内存优化的方法
首先查看虚拟内存的使用情况，使用命令 # free 查看当前系统的内存使用情况。 一般来说，linux的物理内存几乎是完全used。这个和windows非常大的区别，它的内存管理机制将系统内存充分利用，并非windows无论多大的内存都要…
statpot:使用mongo+bootstrap+highcharts做统计报表
最近做了一个统计项目，这个统计项目大致的需求是统计接口的访问速度。客户端会调用一个接口来记录接口的访问情况，我的需求就需要分析这些数据，然后做出个统计报表。 需求实现 最初的时候想着每天把这些接口访问情况的信息存储到mysql中&…
磁盘文件目录罗列和list控件的使用
开发类似ftp客户端的这种软件，需要对每个磁盘下的文件目录进行罗列并显示。方便文件的上传、下载等。就如同我们打开每个磁盘所显示的那样，罗列了你这个磁盘目录下的所有文件夹和文件。 那我们在自己的程序中如何做到这样呢？ 主要用到两个…
潘石屹Python考试成绩99分，网友：还有一分怕你骄傲
整理 | 伍杏玲题图 | 视觉中国来源 | 程序人生（ID：coder_life）5月16日凌晨00:21分，地产大亨潘石屹在微博晒出自己的Python编程一级考试成绩，99分，厉害！像每个学生时期的我们，还会“检…
让Chrome成为你的pdf阅读器
我在Mac OS上使用过的浏览器有Chrome、Safari和Firefox，由于做的产品要支持多浏览器，所以这几种浏览器都会用到，Chrome的使用频率更高一些。 之前想通过浏览器在线阅读PDF时，一般都会提示进行下载，装了类似iGetter或Fo…
l5如何通过路由走api版本回退查找设置
l5如何通过路由走api版本回退查找设置 具体需求 当前遇到的问题是使用laravel写接口，但是接口是有版本号的，我们把版本号放在url中，比如： http://yejianfeng.com/api/user/info/?uid1 http://yejianfeng.com/api1.1/user/info/?…
jspf插件框架
简介：jspf (Java Simple Plugin Framework) 是一个插件框架，用于减少小型项目的的开发时间，增加代码的可维护性。他完全隐藏了组件的详细实现，只用到他们的接口。加载组件所需要的代码也很少，便于编写。jspf框架完全基…
list控件响应鼠标键的单双击
前面一片博客磁盘文件目录罗列和list控件的使用 写过关于list控件的一点使用方法。这篇博客接着继续讲list控件，当我把某个磁盘下的文件目录列出来显示在list控件中，我们肯定是想要对这些目录进行一些操作，比如新建文件夹、删除文件等操作。那…
我佛了！用KNN实现验证码识别，又 Get 到一招！
作者| 李秋键责编| Carol出品| AI科技大本营（ID：rgznai100）头图 | CSDN付费下载自视觉中国验证码使我们生活中最为常见的防治爬虫和机器人登录攻击的手段，一般的验证码主要由数字和字母组成，故我们可以设想：…
JVM中的垃圾收集器
2019独角兽企业重金招聘Python工程师标准>>> Serial收集器: 一种新生代的单线程收集器，采用复制算法回收。当它进行垃圾收集时，其他用户的所有线程都将暂停。 Serial Old收集器：Serial的老年代版本，采用的是标记-清除算…
linux系统用户,组和权限的管理
PS： {最近一直在做毕业设计，前面博客也记录过我的一些过程。其中需要在Ubuntu上搭建一个FTP服务器，此处我选择Vsftpd，但是在我对vsftpd的配置文件vsftpd.conf设置正确后（对于上传，下载等设置肯定没问题&am…
520 情人节 ：属于Python 程序员的脱单攻略大合集（视频版）
作者| Python 编程时光责编| Carol情人节年年有，但今年的 5.20 要比以往的更有意义。2020.05.20 ，爱你爱你我爱你，如果再卡个时间（13:14），那就是 爱你爱你我爱你一生一世。为了能过上这个这个百年难遇的情人…