当前位置：首页 > 编程日记 > 正文

hung-yi lee_p18_图神经网络(cont.)

编程日记 2024-09-12 17:20:00

文章目录

- 1. 简介
- 2. 怎么把图喂到神经网络里面呢
- 3. 为什么需要GNN
- 4. 训练GNN遇到的问题
- 5. 后面的内容安排
- 6. GNN要做的事，常用数据集和基准
- 7. 第一种实现GNN的方法(Spatial-based GNN)
- - 7.1 NN4G
  - 7.2 DCNN
  - 7.3 DGC
  - 7.4 MoNET
  - 番外：聚集的几种方法
  - 7.5 GAT
  - 7.5 GIN
- 8. 图信号处理(Graph Signal Processing)
- 9. 第二种实现GNN的方法(Spectral-based GNN)

1. 简介

Graph Neural Network（GNN）
图:rb-tree(红黑树)是一种特殊的图，由节点(node)和边(edge)组成
在这里插入图片描述
这也可以是图，边因为连接结点的不同而不同

这也可以是图

下面的路线图也是图

举以上几个例子是想说明，图是由节点和边组成的，节点有节点的性质，边有边的性质。

2. 怎么把图喂到神经网络里面呢

这是GNN主要处理的问题

3. 为什么需要GNN

GNN可处理的问题1：分类
判断一个分子会不会产生突变
在这里插入图片描述
GNN可处理的问题2：生成
合成新药，y可以控制其合成的可行性、难易程度

上面两个是看着像的，还有不太像的
GNN可处理的问题3：分类
找凶手

每个角色都有性质，即人物信息，把这些当特征输入训练一个人的分类器
在这里插入图片描述
而这些人物之间又是有关系的

4. 训练GNN遇到的问题

①如何利用结构和关系来训练模型
②当这个图特别大，例如有两万个节点时，该怎么办
③当没有办法给所有数据都打标签的时候，该怎么办
在这里插入图片描述
来看下面的例子
如图是一个图，没有标签的节点多于有标签的节点，现在要想利用这些有标签的节点和节点之间的关系训练出一个好的网络
弹幕说：图区别于一般向量/矩阵的重要属性就是有邻接的概念，所以要重点考虑neighbor
在这里插入图片描述
可以认为一个节点和邻居节点相似程度比较大
但是问题是怎么利用邻居节点去训练模型呢？（这是一个半监督学习）

现在提出的想法是将节点嵌入到特征空间里使用卷积的方式
运用这种方式有两个解法（后面会展开讲）
①Spatial-based(基于空间)
利用CNN里面本就有的、卷积会根据邻居节点来更新特征图(feature map)
②Spectral-based(基于光谱)
用上了信号处理的理论，先把信号转到filter domain里面，再把转到filter domain里面的信号和filter response做相乘，相乘后？？？
（万能弹幕：时域信号变频域，频域相乘，输出变回时域）
在这里插入图片描述

5. 后面的内容安排

A.分别介绍两种方法（Spatial-based和Spectral-based）常用的模型
在这里插入图片描述
B.再介绍一些偏理论的模型

其中最常用的模型还是：第一种里面的GAT，第二种里面的GCN
C.后面要用GNN解决的问题(Tasks)

representation learning即想要学到一个比较好的特征，不管是不是图(?)
D.图神经网络在自然语言处理方面的应用
Natural Language Processing
(万能弹幕：不要被这些模型名字吓到，每种模型其实就是在最基本的GNN上面做一些小修小补)

6. GNN要做的事，常用数据集和基准

基准是用来衡量模型性能的
在这里插入图片描述

7. 第一种实现GNN的方法(Spatial-based GNN)

怎么根据卷积的原理
在这里插入图片描述
把左边的更新成右边的
对于h3这个结点来说，我们要利用它的邻居节点h0,h2,h4来更新下一时刻的它，这个过程叫做聚集(aggregate)

但是要做的不仅仅是预测出单个节点的隐藏层状态，还要预测出整个图的结构，这个过程叫做读出(readout)
在这里插入图片描述
全过程如下

7.1 NN4G

Neural Networks for Graph
NN4G是如何做聚集的（提示：此图根据层应该从下往上看）——所有邻居相加，乘上一个共同权重
在这里插入图片描述
NN4G是如何做读出的（提示：此图根据层也应该从下往上看）——每层相加，再把层结果处理

7.2 DCNN

Diffusion-Convolution Neural Network(传播卷积神经网络)
聚集：
第二层(从下往上数)的输入是第一层
第三层的输入还是第一层
对于h3，第二层是将第一层中距其距离为1的结点相加
对于h3，第三层是将第一层中距其距离为2的结点相加
在这里插入图片描述
读出：
1.将每一层叠在一起

2. ？？

7.3 DGC

Diffusion Graph Convolution(传播图卷积)
与上一个相比就是直接全部加起来(??)
在这里插入图片描述

7.4 MoNET

Mixture Model Networks(混合模型网络)
该模型的重要思想是认为不同邻居拥有不同权重
下图中的u代表的是距离
在这里插入图片描述

番外：聚集的几种方法

1.将邻居全部加起来
2.对邻居做max-pooling
3.对邻居做LSTM
在这里插入图片描述

7.5 GAT

Graph Attention Networks
在MoNET的基础上，权重是让网络自己学的

如下图所示算出h0,h2,h4对h3的重要性，用e(energy)表示
在这里插入图片描述
再用得到的e作为权重对下一层的h3做聚集

7.5 GIN

Graph Isomorphism Network
给出结论：要用sum 不要用mean pooling和max pooling
在这里插入图片描述

8. 图信号处理(Graph Signal Processing)

信号与系统预备知识

9. 第二种实现GNN的方法(Spectral-based GNN)

将输入的图和卷积核都做傅里叶变换(Fourier Transform)，将结果相乘(multiplication)就能得到下一层
在这里插入图片描述

https://www.dkcj.cn/info/18429.html

SQL Server2008附加数据库之后显示为只读

SQL Server2008附加数据库之后显示为只读时解决方法啰嗦的话就不多说了，直入主题吧！ 方案一： 碰到这中情况一般是使用的sa账户登录的，只要改为Windows身份验证，再附加数据库即可搞定。方案二： 使用sa登录…

编程日记2024/09/12 17:10:00

java maven项目使用sonar审核代码

为什么80%的码农都做不了架构师？>>> 一、pom增加插件 <plugin><groupId>org.sonarsource.scanner.maven</groupId><artifactId>sonar-maven-plugin</artifactId><version>3.1.1</version> </plugin> 二…

编程日记2024/09/12 17:00:00

ERP成功全球实施十大成功案例

、美铝公司（Alcoa） 公司简介美铝公司创办于19世纪80年代中期，目前是世界最大的氧化铝、电解铝和铝加工产品的生产商，活跃于包括基础研究和开发、技术及回收利用等铝工业的所有主要领域。美铝产品应用于航空航天、汽车、包装、建筑…

编程日记2024/09/12 16:50:00

CentOS安装Oracle全过程

1.准备工作 （1）安装Java环境 （2）增大SWAP空间 1.1 切换为root用户 1.2 dd if/dev/zero of/home/swap bs1024 count204800 1.3 /sbin/mkswap /home/swap 1.4 /sbin/swapon /home/swap 1.5 free -m 1.6 vi /etc/fstab 添加 /home/…

编程日记2024/09/12 16:40:00

Hide the common top menu in Ubuntu 12.04

隐藏：1、sudo apt-get autoremove appmenu-gtk appmenu-gtk3 appmenu-qt2、reboot恢复：1、sudo apt-get install appmenu-gtk appmenu-gtk3 appmenu-qt2、reboot转载于:https://www.cnblogs.com/wiessharling/p/3569616.html

编程日记2024/09/12 16:30:00

在IBatisNet中使用存储过程

其实在IBatisNet中使用存储过程应该很简单了，应为IBatisNet本来就是基于Sql Mapping的。想着Npetshop中应该有例子看一下就行了，可是查了查map文件，发现没有，只要自己动手搞搞了。在建立的测试数据库中建立一个简单的存储过程del…

编程日记2024/09/12 16:20:00

人工智能时代，教育如何做人工智能的“弄潮儿”？

汇新杯新兴科技互联网创新大赛报名火热进行中汇新杯大赛报名入口：https://www.chuangcheng.org.cn/4552016年人工智能火了，它被行业公认为是继互联网、移动互联网之后的又一重大机遇和挑战，并将成为各个领域的“水电煤”，成为行业…

编程日记2024/09/12 16:10:00

centOS安装Java环境全过程

1.通过ssh将安装包从本地传到/usr/local文件夹下 2.解压安装包 tar -zxvf /usr/local/jdk-**** 3.给解压后的文件夹改名 mv /usr/local/jdk1.8.0_271 /usr/local/java 4.修改配置文件，配置环境变量 vi /etc/profile export JAVA_HOME/usr/local/java export PAT…

编程日记2024/09/12 16:00:00

vue组件的传参练习

为什么80%的码农都做不了架构师？>>> 首先是父组件与子组件沟通父组件告诉子组件，“嘿，孩子，我有话和你说” 组件A代码 <template><section><h1>这是组件</h1><test-B :chile-name"u…

编程日记2024/09/12 15:50:00

Avayaの初体验

这个题目是不是给了你一种无法抗拒的吸引力并引起了你无限的幻想呢？一个名为Avaya的清纯少女……Stop！今天我要说的是电话交换机。说来惭愧，本来是个学通信的，到后来却不务正业搞了软件，到现在突然组织又需要我去搞Ava…

编程日记2024/09/12 15:40:00

Git fetch和git pull的区别

原文：http://www.tech126.com/git-fetch-pull/ Git中从远程的分支获取最新的版本到本地有这样2个命令：1. git fetch：相当于是从远程获取最新版本到本地，不会自动merge git fetch origin master git log -p master..origin/mas…

编程日记2024/09/12 15:30:00

powerdesigner中类图的内部类画法

点击一个已有类点击1看到2 选择3 输入类名右键类名选择Properties设置内部类的方法和参数结果如果在第二步里面找不到inner classfiers怎么办自己添上

编程日记2024/09/12 15:20:00

js获取页面属性

一些常用的页面属性获取： 网页可见区域宽：document.body.clientWidth;网页可见区域高：document.body.clientHeight; 类似视口宽度网页正文全文宽：document.body.scrollWidth;网页正文全文高：document.body.scrollHeig…

编程日记2024/09/12 15:10:00

jquery-12 折叠面板如何实现（两种方法）

jquery-12 折叠面板如何实现（两种方法） 一、总结一句话总结：1、根据点击次数来判断显示还是隐藏，用data方法保证每个元素一个点击次数；2、找到元素的下一个，然后toggle实现显示隐藏。 1、toggle的两种用法…

编程日记2024/09/12 15:00:00

上传图片并生成缩略图

前台<form id"Form1" method"post" runat"server" enctype"multipart/form-data"> <table id"Table1" cellpadding"1" cellspacing"1" width568 border"1"> …

编程日记2024/09/12 14:50:00

物联网与互联网的6大区别

物联网互联网通过自动方式获取数据通过人工方式获取数据物联网是虚拟与现实的结合互联网构造了网络虚拟世界物联网是将计算机"装到"一切事务中在互联网时代把一切交给计算机去做物联网提供行业性服务互联网提供全球性公共信息服务物联网实现了信息世界与物理世界的融…

编程日记2024/09/12 14:40:00

centoros 环境安装

1. nginx rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm yun install nignx 2.php yum install php yum install php-fpm 3. java yum list java* yum install java-1.7.0-openjdk.x86_64 转载于:https://www.cnblogs…

编程日记2024/09/12 14:30:00