当前位置：首页 > 编程日记 > 正文

神经网络基础知识梳理

编程日记 2024-09-13 19:00:00

神经网络是什么

说明：
我们在机器学习中谈论的神经网络是指“神经网络学习”，即机器学习与神经网络这两个学科领域的交叉部分。
生物学意义上神经网络的最基本成分是神经元，计算机科学中的神经网络的最基本成分是神经元模型。
最广泛的一种定义是：
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。
这里的简单单元，指的就是神经元模型。
对于后半句话，其实我们可以不考虑神经网络是否真的模拟了生物神经网络，只需将1个神经网络视为包含了许多参数的数学模型，这个模型是由若干个函数相互嵌套而得。

神经元模型

1943年，McCulloch and Pitts将生物神经网络中的神经元作用原理抽象成一直沿用至今的“M-P神经元模型”。
在这个模型中，神经元接收到n个来自其他神经元传递过来的输入信号，这些信号有不同的权重，接收到的总输入值会被与神经元的阈值(临界值)进行比较，在经过响应(又称激活)函数处理后产生输出。
理想的响应函数是阶跃函数，可以直接将输入值映射为0/1，但由于其具有不连续、不光滑的缺点，常常采用Sigmod函数作为阶跃函数，可以将较大范围的输入值映射到(0,1)，故又称挤压函数。

神经网络的学习

学什么：如上所述，神经网络是一个包含许多参数、由若干函数相互嵌套而得的数学模型。（例如10个神经元组成的网络，就包含了10个阈值和90个连接权重）一般情况下，给定训练数据集，权重和阈值通过学习来得到。
如何学：如果阈值看作固定输入，那么只需针对权重学习。学习规则很简单，对训练样例，如果预测正确，则权重不发生改变；否则根据偏差大小对错误进行调整。

多层神经网络

让我们首先来认识一个基本的，不属于多层的神经网络——感知机。它是由两层神经元组成的，输入层和输出层。其中输入层负责接受外界的输入信号并传递给输出层，即不负责函数处理，输出层神经元属于M-P神经元，会进行激活函数处理。也就是说，感知机它只拥有一层功能神经元，这就使得它的学习能力十分有限。
怎么办呢？我们需要在输入层和输出层中间加入更多的功能神经元，这些中间层被称为隐藏层。只需包含隐层，就可称为多层神经网络。例如，单隐层神经网络共包含三层：输入，隐藏和输出。
神经网络多为层级结构，每层神经元与下一层神经元全互联，不存在同层l和跨层连接。这样的结构称为多层前馈神经网络。注意，前馈不意味着信号不能相候船，而是指网络拓扑结构上不存在环或回路。

深度学习

理论上来说，参数越多的模型复杂度越高，“容量”越大，这意味着它能完成更复杂的学习任务。但是呢，这也就意味着复杂模型训练起来更困难。而随着云计算、大数据时代的到来，计算能力的大幅提高极大地提升了训练的效率，训练数据的大幅增加则可降低过拟合风险。这使得以深度学习为代表的复杂模型开始受到人们关注。
典型的深度学习模型是很深层的神经网络。多隐层神经神经网络有一下两种有效的训练手段。
① 无监督逐层训练
基本思想：“预训练+微调”。
每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入，这称为“预训练”。
在预训练全部完后曾后，再对整个网络进行“微调”训练。
应用：DBN 深度信念网络
②权共享
基本思想：让一组神经元使用相同的连接权重。
应用： CNN 卷积神经网络
理解深度学习的另一个角度。
无论DBN还是CNN，其多隐层堆叠，每层对上一层的输出进行处理的机制，可看作是在对输入信号进行逐层加工，从而把初始的、与输出目标之间联系不太密切的输入表示，转化成与输出目标联系更密切的表示，使得原来仅基于最后一层输出映射难以完成的任务成为可能。
换言之，通过多层处理，逐渐将初始的底层特征转化为高层特征表示后，用简单模型即可完成复杂的分类等学习任务。由此可以将深度学习理解为进行“特征学习”。

出处：周志华《机器学习》

https://www.dkcj.cn/info/18583.html

Xcode 5 Error CertUIFramework.axbundle

Xcode 5 新建项目，运行总是出现错误： Cannot find executable forCFBundle0x8a7c7a0</Applications/Xcode.app/Contents/Developer/Platforms/ iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator7.0.sdk/System/Library/AccessibilityBundle…

编程日记2024/09/13 18:50:00

【组队学习】【35期】深入浅出Pytorch

深入浅出Pytorch 航路开辟者：李嘉骐、牛志康、刘洋、陈安东领航员：朱松青航海士：管柯琴、宋泽山、林旭升基本信息开源内容：https://github.com/datawhalechina/thorough-pytorch内容属性：深度学习（实践…

编程日记2024/09/13 18:40:00

环形动画加载视图AnimatedCircleLoadingView

2019独角兽企业重金招聘Python工程师标准>>> 环形动画加载视图AnimatedCircleLoadingView AnimatedCircleLoadingView是基于Android手表动画android-watch-loading-animation衍生出来的动画加载视图。该视图采用循环的环形动画显示加载进度。同时，开发者…

编程日记2024/09/13 18:30:00

软件缺陷预测的两种定义

软件缺陷预测是根据软件产品中提取的度量信息和已经发现的缺陷来尽早地预测软件可能还存在的缺陷，基于预测结果可合理分配测试和验证资源。软件缺陷预测作为实证软件工程的一个重要方向，通过对软件开发过程中积累的历史数据进行挖掘与分析，…

编程日记2024/09/13 18:20:00

php函数：register_shutdown_function

php中register_shutdown_function函数用法详解： 由于程序出现一些不可预知的问题，给用户显示一个致命错误,又或者一个空白页(在display_errors设为off的情况下)，不是一个很好的处理方法 . PHP中有一个叫做 register_shutdown_function 的函数…

编程日记2024/09/13 18:10:00

使用IDEA新建springboot工程

2019独角兽企业重金招聘Python工程师标准>>> 说明：因为习惯eclipse的workspace的结构，所以我提前新建了一个父工程，只是一个简单的maven工程，当做工作空间，下面的项目就是 module（其实和项目一样…

编程日记2024/09/13 18:00:00

【青少年编程竞赛交流】03月份微信图文索引

03月份微信图文索引由于“组队学习”这个公众号的功能主要是组织Datawhale社群中的学习者们每个月的组队学习，所以，我另外新建了这个微信公众号“青少年编程竞赛交流”，在这个公众号上分享有关青少年编程方面的知识，带小朋友们参…

编程日记2024/09/13 17:50:00

使用LaTeX排版如何方便地引用多篇参考文献(不使用插件)

本文是一篇适合排版参考文献较多的论文的教程，目的如题。环境：TexStudio 在文献管理工具中将题录导出为BibTex 打开这个文件，尽管是.txt结尾，内部格式应当是这样的注意红框的内容，一会要用到。在TexStudio里面新…

编程日记2024/09/13 17:40:00

详解亚马逊：物流为何是电商命脉

在物流环节上，亚马逊(AMZN)主要涉及物流中心运营，商品配送环节主要采取和第三方快递公司合作完成。那么，亚马逊物流促销活动反映在财务收支上的结果又如何？根据年报数据，2011年亚马逊收到来自用户支付的运费总计15.5亿…

编程日记2024/09/13 17:30:00

四月青少年编程组队学习（图形化四级）Task01

电子学会软件编程（图形化）四级组队学习试题来源： 青少年软件编程（Scratch）等级考试试卷（四级）【2019.12】青少年软件编程（Scratch）等级考试试卷（四级&am…

编程日记2024/09/13 17:20:00

jmeter启动警告项解决方案

今天安装并且配置了jmeter压力测试软件，然后配置完了环境变量，但是在cmd命令行中输入jmeter --version命名，发现在会有警告信息，如图解决这个警告信息的方法：1、首先进入注册表中2、然后找到HKEY_LOCAL_MACHINESOFTWAR…

编程日记2024/09/13 17:10:00

初识软件体系结构（1-4课时）

前四个课时的内容是“软件体系结构概述”。 LW老师的讲课带劲，逻辑性强，也接地气，节奏不快不慢，很nice～ 软件架构师这门课最对口的职业是软件架构师，软件架构师是工作在项目经理和程序员之间，既…

编程日记2024/09/13 17:00:00

window.open和window.location.href的几种用法

windows.open("URL","窗口名称","窗口外观设定");<A href"javascript:window.open(webpage.asp,_self)"> 点击这里 </A><a οnclick"window.open(webpage.asp,_self);void 0" href"#"> 点击这里…

编程日记2024/09/13 16:50:00

React.js绑定this的5种方法

this在javascript中已经相当灵活，把它放到React中给我们的选择就更加困惑了。下面一起来看看React this的5种绑定方法。 1.使用React.createClass 如果你使用的是React 15及以下的版本，你可能使用过React.createClass函数来创建一个组件。你在里面创建的…

编程日记2024/09/13 16:40:00

四月青少年编程组队学习（图形化四级）Task03

编程日记2024/09/13 16:30:00

对于正交频分复用的异构网络的理解

正交来看百度百科的定义—— 物理中：运动的独立性，也可以用正交来解释。正交频分复用来看百度百科的定义—— 将信道分成若干正交子信道，将高速数据信号转换成并行的低速子数据流，调制到在每个子信道上进行传输。正交信号可以通…

编程日记2024/09/13 16:20:00

java网页抓取

网页抓取就是，我们想要从别人的网站上得到我们想要的，也算是窃取了，有的网站就对这个网页抓取就做了限制，比如百度直接进入正题 1 //要抓取的网页地址2 String urlStr "http://**************/center";3 URL url new…

编程日记2024/09/13 16:10:00

四月青少年编程组队学习（图形化四级）Task05

编程日记2024/09/13 16:00:00

Python列表split方法

转载自：https://www.cnblogs.com/douzi2/p/5579651.html 1、split翻译为分裂。 split()就是将一个字符串分裂成多个字符串组成的列表。 2、split()当不带参数时以空格进行分割，当带参数时，以该参数进行分割。 a、当不带参数时 st0 song …

编程日记2024/09/13 15:50:00

顶级数据库管理系统的性能比较研究(论文翻译)

本文译自《A Comparative Study on the Performance of the Top DBMS Systems 》Youssef Bassil LACSC – Lebanese Association for Computational Sciences Registered under No. 957, 2011, Beirut, Lebanon 摘要数据库管理系统是当今将数据组织成可以搜索和更新的集合地…

编程日记2024/09/13 15:40:00

debugger 调试的一些经验

1. 如果没有firebug ， 可以用firebug-lite.js 内嵌的调试方式。 2. console.log 不是所有浏览器都支持console.log 在IE或者没有调试窗口的浏览器中，console.log会undefined var db {switch:true} db.log function(){if(!this.switch) return ;if( typ…

编程日记2024/09/13 15:30:00

spring boot 2.0 源码分析（二）

在上一章学习了spring boot 2.0启动的大概流程以后，今天我们来深挖一下SpringApplication实例变量的run函数。先把这段run函数的代码贴出来： /*** Run the Spring application, creating and refreshing a new* {link ApplicationContext}.* param args…

编程日记2024/09/13 15:20:00

四月青少年编程组队学习（Python一级）Task01

电子学会软件编程（Python）一级组队学习试题来源青少年软件编程（Python）等级考试试卷（一级）【2020.06】青少年软件编程（Python）等级考试试卷（一级）【202…

编程日记2024/09/13 15:10:00

hung-yi lee_p1_机器学习是什么

文章目录1.你想找什么样的函式2.怎么告诉机器你想找什么样的函式3.机器怎么找出你想要的函式机器学习就是自动找函式1.你想找什么样的函式 Regression(回归)——想找的函式输出是一个数值 Binary Classification——想找的函式输出是Yes or No(Pos or Neg) Multi-class Classi…

编程日记2024/09/13 15:00:00

excel导入SQL脚本

exec sp_configure show advanced options,1 reconfigure exec sp_configure Ad Hoc Distributed Queries,1 reconfigure SELECT * INTO tmp_asset FROM OPENROWSET(Microsoft.Jet.OLEDB.4.0, Excel 8.0;Databased:\Excel数据源\资产印章.xls, SELECT * FROM [Sheet1$]) ; 转…

编程日记2024/09/13 14:50:00

Hadoop hdfs完全分布式搭建教程

本文转载自：https://www.cnblogs.com/ysocean/p/6965197.html 1、安装环境 ①、四台Linux CentOS6.7 系统 hostname ipaddress subnet mask geteway 1、 master 192.168.146.200 255.255…

编程日记2024/09/13 14:40:00