图神经网络如何对知识图谱建模？ | 赠书
几乎所有早期的知识图谱嵌入的经典方法都是在对每个三元组打分，在实体和关系的表示中并没有完全考虑到整幅图的结构。
早期，图神经网络的方法在知识图谱嵌入中并没有被重视，主要由于：
早期的图神经网络更多是具有同种类型节点和边的同构图，对知识图谱这样的异构图关注较少。
早期的图神经网络复杂度较高，很难扩展到知识图谱这种大规模图上。
随着对图神经网络研究的深入，越来越多的研究者开始使用更具表达力的图神经网络对知识图谱进行建模。
关系图卷积网络
关系图卷积网络是一个基于信息传递的异构图神经网络。
它本质上是对图卷积网络模型的一个扩展，在图卷积网络的基础上加入了边的信息，因此也可以被用来学习知识图谱中的实体嵌入。
给定节点状态 和它的邻接节点集 （其中 表示边上的关系），节点的表示由以下公式进行更新：
其中， 是一个用来正则化的系数。下图展示了关系图卷积网络的节点更新过程，对于每个节点 ，它把周围所有与之相连的关系 （即rel_1 到rel_N，区分正反方向）都表示为一个矩阵 ，加入节点更新的公式中，并且加入了自循环来保持部分自身节点的信息。
带权重的图卷积编码器
结构感知卷积网络（Structure-Aware Convolutional Networks，SACN）把知识图谱拆分为多个单关系的同构图，即知识图谱中的每种关系对应一个子图，在最终聚合时再考虑每个关系的重要度。本质上，结构感知卷积网络是图卷积网络和ConvE 模型的合体。它以一个带权重的图卷积网络（Weighted Graph Convolutional Networks，WGCN）为编码器，用一个叫作Conv-TranE 的解码器进行解码。
编码器：结构感知卷积网络采用了带权重的图卷积网络进行编码，不同于图卷积网络，它对每个关系 在信息传递的每一层 赋予一个权重 。在信息传递的过程中，关系本身的重要性也被考虑进去了：
解码器：Conv-TransE 模型的架构是基于ConvE 模型的。不同的是，Conv-TransE 模型中实体和关系向量 不像ConvE 模型中那样先转换成二维矩阵，并且保持了TransE 模型的平移不变性，即 。它的得分函数写成
其中， 是卷积之后得到的形式。结构感知卷积网络在ConvE 模型的基础上增加了带权重的图卷积网络的编码，因此可以加入知识图谱的结构信息和实体节点自身的属性信息，使结果得到了很大的改进。
知识图谱与图注意力模型
既然已经有了基于图卷积网络的模型，我们可以预见，一定有基于图注意力的模型。我们以文末参考文献为例介绍知识图谱的图注意力模型。类似于结构感知卷积网络，这个模型也是用图神经网络作为编码器，然后将一个传统的知识图谱嵌入模型作为解码器。
具体来讲，编码器就是一个图注意力网络的扩展。它与图注意力网络不同的地方在于在计算边的注意力权重时，除了考虑到节点的属性，也加入了边的信息：
其中， ， 表示对 和 对应的维度进行归一化。类似于图注意力网络，我们可以加入多头注意力来增加模型的表达能力，假设我们有M 个独立的注意力机制，则节点的更新可以表示为
而解码器是用之前的一个经典模型ConvKB。对于每一个三元组 ，在上述编码器得到它们的向量表示 之后，引入ConvKB 模型的得分函数：
其中 是第 个卷积核。
图神经网络与传统知识图谱嵌入的结合：CompGCN
Vashishth 等人认为在知识图谱的信息传递中，应该综合考虑关系和节点的组合，而非将它们各自分离表示。
因此，他们在提出的CompGCN 模型中采用了传统知识图谱嵌入中的三元组关系 （其中 为一个三元组）作为要传递的信息，然后进行信息的聚合和节点状态的更新。
首先，他们综合考虑了边的不同类型：有向边、反向边、自连边，并对它们分别采用不同的投影矩阵（ ），把对应的关系映射到向量上去，即 。然后节点的更新可以表示为
函数与传统的知识图谱嵌入对三元组的打分方法类似，例如，可以选用以下三种不同的函数：
减 ，对应TransE 模型。
乘 ，对应DistMult 模型。
循环相关 ，对应HolE 模型。
由于结合了知识图谱嵌入的得分方式，又考虑了不同边的类型，CompGCN 在基于知识图谱完成的任务上取得了非常好的效果，在很多指标上都达到了最好。
总结
知识图谱作为一种重要而特殊的图结构，在各个领域有着广泛的应用，知识图谱的表示学习为传统人工智能关注的推理、符号逻辑等提供了新的、高效的方法，而图神经网络在这个领域也起到了越来越关键的作用。
同时，知识图谱的特殊性和复杂性为图神经网络提供了很多新的、待解决的问题，如可解释性、复杂推理、可扩展性、自动构建与动态变化。
解决这些问题，将为我们带来新的技术推动力。
▼
参考文献：NATHANI D, CHAUHAN J, SHARMA C, et al. Learning attention-based embeddings for relation prediction in knowledge graphs[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019:4710-4723.
▊《图神经网络：基础与前沿》
马腾飞 编著
梳理图神经网络（GNN）领域的经典模型
帮助读者构建图神经网络知识体系
厘清重要模型的设计思路和技术细节
展现图神经网络的研究进展
图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践
图神经网络是人工智能领域的一个新兴方向，它不仅迅速得到了学术界的广泛关注，而且被成功地应用在工业界的多个领域。
本书介绍了图神经网络和图深度学习的基础知识和前沿研究，不仅包括它们的发展历史和经典模型，还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究，以及它们在不同领域（如推荐系统、生化医疗、自然语言处理等）的实际应用。
本书既可作为人工智能领域研究和开发人员的技术参考书，也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。
（扫码了解本书详情）
对于图神经网络，你怎么看？
#欢迎来留言#
我们选出两名优质留言
AI科技大本营携手【电子工业出版社-博文视点】送出
《图神经网络：基础与前沿》一本
截至3月26日14:00点
更多精彩推荐
☞又一个Jupyter神器，操作Excel自动生成Python代码☞分析6千万条GitHub帖子，发现你的工作状态与表情符号强相关☞在 5G 速度上，iPhone 12 只是个弟弟点分享点收藏点点赞点在看
相关文章：
浅析ado.net获取数据库元数据信息
写这个文章源于早先对ADO.Net获取数据库元数据上的认识，去年我在阅读ADO.Net Core Reference的时候曾经注意过DataSet的FillSchema的这个方法。这方面，在我之前的随笔中提到过Typed DataSet，而FillSchem与WriteXmlSchema的结合使用可以获得数…
账户密码策略修改
由于是虚拟测试环境所以AD 和 Exchange安装在同一台虚拟机上，所以修改账户密码策略已达到降低密码是设置的复杂度。 1.打开 --开始--管理工具--组策略管理 2.选择--Default Domain Policy 右键编辑 3.选择计算机设置--策略--安全设置--账户策略--密码策略 4.调整--密…
什么是新IP的四层网络技术
新IP技术共有四层：物理底层、网络服务、控制服务和编排。通过这四个层级实现网络虚拟化和软件定义网络，下面就来详细说一说什么是新IP的四层网络技术。 物理底层 新IP技术依然是一种基于硬件的技术，脱离不了物理底层，所有的虚拟软…
按拼音模糊匹配查询条件的生成类
转载了好几个地方，很难确定最早的出处。将源码贴出来先。1usingSystem; 2usingSystem.Text; 3usingSystem.IO; 45namespacets6{ 7 class test 8 { 9 private static string[] startChars {"啊", "芭", "擦","搭…
Java架构技术文档：并发编程+设计模式+常用框架+JVM+精选视频
本篇文章是我们整理的一份架构师的成长路线，包括了并发编程、设计模式、常用框架、中间件、微服务与分布式、常用工具、JVM、MySQL、数据结构与算法，还有架构师精选视频、架构师成长路线高清大图。又是新的一年，每一年都会有人在成为架构师的…
linux tune2fs简解(每日一令之五)
1:命令简介Linux下的文件检测命令，且可以自行定义自检周期2：用法[rootuyhd000225 ~]# tune2fs --help tune2fs 1.39 (29-May-2006) tune2fs：无效选项 -- - Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g group][-i interva…
物联网技术正颠覆传统医疗行业
如果你或你的爱人最近正在接受治疗，你可能会觉察到一些很酷的新设备可以辅助诊断和治疗。然而，你可能没有意识到，一部分这些设备已连接到互联网，成为物联网生态系统的一个重要组成部分。 到底如何连接核磁共振成像仪、CT扫描仪或实…
数组的进一步使用
数组是数据结构中最基本的结构形式，它是一种顺序式的结构，存储的是同一类型的数据。每个数组元素都拥有下标（index）和元素值（value），下标方便存取数据，而元素值就是被存储的数据。 数…
百度香港二次上市，12 岁开发者、AI 机器人同台敲响“芯片代码锣”
整理 | AI科技大本营（ID:rgznai100）今日，继 2005 年百度在纳斯达克上市后，百度在香港的第二次上市。上市首日开盘价254港元每股，截至发稿，为 252 港元每股，总市值约为 7129 亿港元。现场“敲锣人…
Linux启动流程(二)
//...根据grub内核映像所在路径,读取内核映像，并进行解压缩操作。并调用start_kernel()函数来启动一系列的初始化函数并初始化各种设备，完成Linux核心环境的建立1.start_kernel(init/main.c)中调用一系列初始化函数:(1) 在屏幕上打印出当前的内核版本信息…
写代码可能是成为软件工程师最容易的部分
当然，写代码是超级重要的，但是我认为它只是整个过程中的一小部分，且不一定是最难学的。 学习如何写代码要花些时间，但是只要有足够的训练（每天写代码，坚持数年），你就能真正擅长它。 …
不是“重复”造轮子，百度飞桨框架2.0如何俘获人心
2016 年，百度 PaddlePaddle 打响了国产深度学习框架开源的第一枪。 2019 年 4 月，在 Wave Summit 深度学习开发者峰会上，首次发布了PaddlePaddle 的中文名“飞桨”，开始强调自己更适合中国开发者，以及更加专注于深度学…
基于Sql Server 2008的分布式数据库的实践（一）
原文 基于Sql Server 2008的分布式数据库的实践（一） 配置Sql Server 2008（Win7） 1.打开SQL server2012，使用windows身份登录 2.登录后，右键选择“属性”。左侧选择“安全性”，选中右侧的“SQL S…
HttpHand和HttpModule的详细解释，包括Asp.Net对Http请求的处理流程。
了解当用户对一个.aspx页面提出请求时，后台的Web服务器的动作流程。当对这个流程了解后，我们就会明白HttpHandler和HttpModule的作用了。 首先，来了解一下IIS系统。它是一个程序，负责对网站的内容进行管理，以及对客户的…
WebGL初探
目前，我们有很多方案可以快速的接触到 WebGL 并绘制复杂的图形，但最后发现我们忽视了很多细节性的东西。当然，这对初学 WebGL 是有必要的，它能迅速提起我们对 WebGL 的学习兴趣。当学习到更加深入的阶段时，我们更想了解…
Linux下用C语言最基本的程序开发与调试
1.建一个目录2.写代码，建一个hello.c文件代码：view plaincopy to clipboardprint?#include "stdio.h" main() { printf("Hello Linux.\n") } #include "stdio.h" main() { printf("Hello Linux.\n")…
全面升级！星环科技基础软件再升级，赋能数字中国建设
3月24日，星环科技举行2021线上发布会，支持10种主流数据模型的多模数据平台和数据云产品、实现AI建模的全生命周期管理人工智能等产品新版本齐齐亮相。 星环科技坚持核心技术自主原创，专注于大数据基础平台、分布式关系型数据库、数据开发与智…
脚本中echo显示内容带颜色显示
脚本中echo显示内容带颜色显示,echo显示带颜色，需要使用参数-e格式如下：echo -e "\033[字背景颜色；文字颜色m字符串\033[0m"例如：echo -e "\033[41;36m something here \033[0m"其中41的位置代表底色…
Java 8默认方法会破坏你的（用户的）代码
Java 8的默认方法试图尝试更进一步简化Java API。不幸的是，这一最近的语言扩展带来了一系列复杂的规则，但只有少部分Java开发者意识到这一点。这篇文章告诉你为什么引入默认方法会破坏你的（用户的）代码。 起初看来，默认…
JPA多对多关联
关于JPA多对多关系，这是使用学生与教师来表示。一个Student由多个Teacher教，同样一个Teacher也可以教多个学生。Student类如下： 1 package com.yichun.bean;2 3 import java.util.HashSet;4 import java.util.Set;5 6 import javax.persisten…
上市之后，青云存储平台 QingStor 也要“进军”云原生
作者 | 夕颜头图 | 下载于东方IC出品 | CSDN云计算（ID：CSDNcloud）3 月 16 日，北京青云科技股份有限公司（以下简称“青云科技”）登录科创板，昔日里频频出现在公众视野的云计算企业，终…
SQL Server 存储过程的分页方案比拼
建立表： CREATE TABLE [TestTable] ( [ID] [int] IDENTITY (1, 1) NOT NULL , [FirstName] [nvarchar] (100) COLLATE Chinese_PRC_CI_AS NULL , [LastName] [nvarchar] (100) COLLATE Chinese_PRC_CI_AS NULL , [Country] [nvarchar] (50) COLLATE Chinese_PRC_CI…
未来黑客入侵的不仅有电脑，还有人脑？
提到黑客入侵，我们能够知道的领域有很多，比如企业数据库、金融系统、个人信息、个人账户等。随着时代的变迁，人工智能、云计算、物联网等相继崛起，可能给黑客攻击的领域变得越发宽广。可是如果说黑客能攻击控制的不仅仅是电脑&…
不需xp_cmdshell支持在有注入漏洞的SQL服务器上运行CMD命令
我的BLOG里有一篇文章介绍了关于SQL注入的基本原理和一些方法。最让人感兴趣的也许就是前面介绍的利用扩展存储过程xp_cmdshell来运行操作系统的控制台命令。这种方法也非常的简单，只需使用下面的SQL语句：EXEC master.dbo.xp_cmdshell dir c:/但是越来越…
谷歌低调了 5 年的 Fuchsia OS，终于有望面世了！
种种迹象表明，低调了多年的 Fuchsia OS 可能就要出首个开发者版本了！整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）千呼万唤始出来，等待了五年，谷歌 Fuchsia OS 的首个开发者版本终于有望面世了&#…
chrom扩展开发-入门
2019独角兽企业重金招聘Python工程师标准>>> 先了解一下chrome的两种功能延伸方式： * 扩展（Extension） 1.指的是通过调用 Chrome 提供的 Chrome API 来扩展浏览器功能的一种组件，工作在浏览器层面，使用 HT…
你的机器学习模型为什么会出错？奉上四大原因解析及五条改进措施
对开发者来说，目前有一系列的机器学习模型可供选择。雷锋网(公众号：雷锋网)了解，可以用线性回归模型预测具体的数值，用逻辑回归模型对不同的运算结果进行归类，以及用神经网络模型处理非线性的问题等等。 不论哪一种&am…
释放CPU，算力经济下DPU芯片的发展机遇
当前承载算力的基础设施是各种规模的的数据中心，从几十个服务器节点的小规模企业级计算中心到数万个节点的巨型数据中心，通过云计算的模式对应用层客户提供存储、软件、计算平台等服务。这个生态直接承载了全球数十万亿美元规模的数字经济，而…
SQLserver安全设置攻略
日前SQL INJECTION的攻击测试愈演愈烈，很多大型的网站和论坛都相继被注入。这些网站一般使用的多为SQLSERVER数据库，正因为如此，很多人开始怀疑SQL SERVER的安全性。其实SQL SERVER2000已经通过了美国政府的C2级安全认证-这是该行业所能拥有的…
undefined symbol: ap_log_rerror；apache2.4与weblogic点so文件
没法子啊；只能用 httpd-2.2.26 https://www.google.com.hk/#newwindow1&qundefinedsymbol:ap_log_rerror&safestrictundefined symbol: ap_log_rerror[rootlocalhost local]# vi apache2/conf/httpd.conf[rootlocalhost local]# ./apache2/bin/apachectl s…