机器如何读懂人心：Keras实现Self-Attention文本分类
作者 | 小宋是呢
转载自CSDN博客
一、Self-Attention概念详解
了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下
对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度 ，其中
为一个query和key向量的维度。再利用Softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和的表示。该操作可以表示为
这里可能比较抽象，我们来看一个具体的例子（图片来源于https://jalammar.github.io/illustrated-transformer/），该博客讲解的极其清晰，强烈推荐），假如我们要翻译一个词组Thinking Machines，其中Thinking的输入的embedding vector用 表示，Machines的embedding vector用
表示。
当我们处理Thinking这个词时，我们需要计算句子中所有词与它的Attention Score，这就像将当前词作为搜索的query，去和句子中所有词（包含该词本身）的key去匹配，看看相关度有多高。我们用 代表Thinking对应的query vector，
及
分别代表Thinking以及Machines对应的key vector，则计算Thinking的attention score的时候我们需要计算
与
的点乘，同理，我们计算Machines的attention score的时候需要计算
与
的点乘。如上图中所示我们分别得到了
与
的点乘积，然后我们进行尺度缩放与softmax归一化，如下图所示：
显然，当前单词与其自身的attention score一般最大，其他单词根据与当前单词重要程度有相应的score。然后我们在用这些attention score与value vector相乘，得到加权的向量。
如果将输入的所有向量合并为矩阵形式，则所有query, key, value向量也可以合并为矩阵形式表示：
其中 是我们模型训练过程学习到的合适的参数。上述操作即可简化为矩阵形式：
二、Self_Attention模型搭建
笔者使用Keras来实现对于Self_Attention模型的搭建，由于网络中间参数量比较多，这里采用自定义网络层的方法构建Self_Attention。
Keras实现自定义网络层。需要实现以下三个方法:（注意input_shape是包含batch_size项的）
build(input_shape): 这是你定义权重的地方。这个方法必须设 self.built = True，可以通过调用 super([Layer], self).build() 完成。
call(x): 这里是编写层的功能逻辑的地方。你只需要关注传入 call 的第一个参数：输入张量，除非你希望你的层支持masking。
compute_output_shape(input_shape): 如果你的层更改了输入张量的形状，你应该在这里定义形状变化的逻辑，这让Keras能够自动推断各层的形状。
实现代码如下：
这里可以对照一中的概念讲解来理解代码
如果将输入的所有向量合并为矩阵形式，则所有query, key, value向量也可以合并为矩阵形式表示
上述内容对应
其中 是我们模型训练过程学习到的合适的参数。上述操作即可简化为矩阵形式：
上述内容对应（为什么使用batch_dot呢？这是由于input_shape是包含batch_size项的）
这里 QK = QK / (64**0.5) 是除以一个归一化系数，(64**0.5)是笔者自己定义的，其他文章可能会采用不同的方法。
三、训练网络
项目完整代码如下，这里使用的是Keras自带的imdb影评数据集。
四、结果输出
参考链接：
https://zhuanlan.zhihu.com/p/47282410
原文链接
https://blog.csdn.net/xiaosongshine/article/details/90600028
（*本文为 AI科技大本营转载文章，转载请联系原作者）
◆
精彩推荐
◆
大会开幕倒计时8天！
2019以太坊技术及应用大会特邀以太坊创始人V神与众多海内外知名技术专家齐聚北京，聚焦区块链技术，把握时代机遇，深耕行业应用，共话以太坊2.0新生态。即刻扫码，享优惠票价。
推荐阅读
真正的博士是如何参加AAAI, ICML, ICLR等AI顶会的？
Python最抢手、Java最流行、Go最有前途，7000位程序员揭秘2019软件开发现状
程序员学Python编程或许不知的十大提升工具
不要让 Chrome 成为下一个 IE！
这位博士跑赢“地震波”：提前 10 秒预警宜宾地震！
一张图告诉你到底学Python还是Java！
鸿蒙将至，安卓安否？
25岁创立加密城堡, 曾经独角兽创始人社会名流天才黑客是这里的沙发客, 如今却无人问津……
352万帧标注图片，1400个视频，亮风台推最大单目标跟踪数据集
你点的每个“在看”，我都认真当成了喜欢相关文章：
通俗易懂！使用Excel和TF实现Transformer
作者 | 石晓文转载自小小挖掘机（ID:wAIsjwj）本文旨在通过最通俗易懂的过程来详解Transformer的每个步骤！假设我们在做一个从中文翻译到英文的过程，我们的词表很简单如下：中文词表：[机、器、学、习] 英文词表…
通过注册表修改VC6.0的字体【转】
2019独角兽企业重金招聘Python工程师标准>>> 在VC6.0下更改字体，我们一般通过菜单-Tools-Options-Format来更改 但在我的win7 64位系统下这一选项下的字体和字体颜色是空的，无法选择 所以我想起来通过注册表来更改。 WinR输入“Regedit”&…
Java中创建String的两种方式差异
我们知道创建一个String类型的变量一般有以下两种方法： String str1 "abcd"; String str2 new String("abcd"); 那么为什么会存在这两种创建方式呢，它们在内存中的表现形式各有什么区别？ 方法1： String a …
OpenCV支持的图像格式
OpenCV目前支持的图像格式包括： Windows位图文件 - BMP, DIB； JPEG文件 - JPEG, JPG, JPE； 便携式网络图片 - PNG； 便携式图像格式 - PBM，PGM，PPM； Sun rasters - SR，RASÿ…
Debian Linux下的Python学习——控制流
python中有三种控制流语句:if、for和while。 1. if语句用法( if..elif..else) 代码: 运行: 注意:raw_input函数要求输入一个字符串,int把这个字符串转换为整数 2.for语句用法 (for ... else) 代码: 运行: 注:else部分是可选的。如果包含else，它总是在for循环结束后…
如何运行ImageMagick的命令行工具
在http://www.imagemagick.org/script/index.php网站下载相应的执行文件，这里以下载ImageMagick-6.6.5-10-Q16-windows-static.exe为例说明。 将ImageMagick-6.6.5-10-Q16-windows-static.exe下载后，安装，然后将其中需要的命令行工具考到你需…
华为最强自研NPU问世，麒麟810“抛弃”寒武纪
整理 | 一一出品 | AI科技大本营（ID:rgznai100）“能效高、算子多、精度高”，华为消费者业务手机产品线总裁何刚用一句话总结了自研达芬奇架构给最新麒麟810芯片带来的变化。6 月 21 日，在 HUAWEI Nova 5 系列新品发布会上&#x…
调用 微信接口报错 {errcode:48001,errmsg:api unauthorized, hints: [ req_id: 1QoCla0699ns81 ]}...
如下截图，仅为备份，本文转载地址： http://www.cnblogs.com/liaolongjun/p/6080240.html 以下正文↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ ↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑…
javascript this用法小结
this是面向对象语言中的一个重要概念，在JAVA,C#等大型语言中，this固定指向运行时的当前对象。但是在javascript中，由于 javascript的动态性（解释执行，当然也有简单的预编译过程），this的指向在运…
在vc6控制台程序中如何调用运行ImageMagick命令行工具
在http://www.imagemagick.org/script/index.php网站下载相应的执行文件，这里以下载ImageMagick-6.6.5-10-Q16-windows-static.exe为例说明。 将ImageMagick-6.6.5-10-Q16-windows-static.exe下载后，安装，然后将其中需要的命令行工具考到你程…
高频数据交换下Flutter与ReactNative的对比
后端使用go写的socketio服务模拟期货行情数据，每10ms推送10条行情数据 ReactNative已经尽力优化了。 Flutter由于没flutter-socketio这个库不支持dart2.0以上的版本，所有用了安卓的socketio，通过事件与Flutter通讯。 1.内存占用 ReactNative …
6月技术福利限时免费领
《程序员大本营》6月刊来啦~更多福利限时免费领取：CSDN重磅技术大会精选视频以及200PPT；机器学习、知识图谱、计算机视觉、区块链等100技术公开课及PPT全奉送...识别海报二维码，邀请3位好友扫码助力，即可免费领取↓↓↓❤提示&…
我对bgwriter.c 与 guc 关系的初步理解
我用例子来说明：只是一个模拟，我自己做的 假的 bgwriter.c [rootlocalhost test]# cat bgwriter.c #include<stdio.h> #include<stdlib.h> #include<signal.h> #include "bgwriter.h" #include "guc.h" //some co…
媲美Pandas？一文入门Python的Datatable操作
作者 | Parul Pandey译者 | linstancy责编 | Jane出品 | Python大本营（id：pythonnews）【导读】工具包 datatable 的功能特征与 Pandas 非常类似，但更侧重于速度以及对大数据的支持。此外，datatable 还致力于实现更好的…
java并发编程——并发容器类介绍
2019独角兽企业重金招聘Python工程师标准>>> 并发容器的简单介绍 JDK5中添加了新的concurrent包，相对同步容器而言，并发容器通过一些机制改进了并发性能。因为同步容器将所有对容器状态的访问都串行化了，这样保证了线程的安全性&a…
CV_IMAGE_ELEM参数赋值时注意的问题
转自：http://hi.baidu.com/wangruiy01/blog/item/041ab03e8abd33c57d1e71a0.html CV_IMAGE_ELEM是一个宏， #define CV_IMAGE_ELEM( image, elemtype, row, col ) /(((elemtype*)((image)->imageData (image)->widthStep*(row)))[(col)])#define …
公司内部exchange2010 下删除误发邮件
1、Add-PSSnapin Microsoft.Exchange.Management.PowerShell.E20102、get-mailbox | search-mailbox -SearchQuery 填写误发邮件标题 -TargetMailbox "administrator" -TargetFolder "SearchAndDeleteLog" -DeleteContent转载于:https://blog.51cto.com/wo…
从代码设计到应用开发，入坑深度学习看这本书就够了
深度学习（Deep Learning）是机器学习中一种基于对数据进行表征学习的方法。近年来，深度学习已经在科技界、工业界日益广泛地应用。随着全球各领域多样化数据的极速积累和计算资源的成熟化商业服务，深度学习已经成为人工智能领域最有…
小波矩特征提取matlab代码
这是我上研究生时写的小波矩特征提取代码： %新归一化方法小波矩特征提取---------------------------------------------------------- Fimread(a1.bmp);Fim2bw(F);Fimresize(F,[128 128]);%求取最上点for i1:128 for j1:128 if (F(i,j)1) yt…
hadoop生态搭建（3节点）-06.hbase配置
# http://archive.apache.org/dist/hbase/1.2.4/ # 安装 hbase tar -zxvf ~/hbase-1.2.4-bin.tar.gz -C /usr/local rm –r ~/hbase-1.2.4-bin.tar.gz # 配置环境变量# node1 node2 node3 vi /etc/profile# 在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下添…
异类框架BigDL，TensorFlow的潜在杀器！
作者 | Nandita Dwivedi译者 | 风车云马责编 | Jane出品 | AI 科技大本营（id：rgznai100）【导读】你能利用现有的 Spark 集群构建深度学习模型吗？如何分析存储在 HDFS、Hive 和 HBase 中 tb 级的数据吗？企业想用深度学习…
对IsUnderPostmaster变量初步学习
开始 在postmaster.c 中的 BackendStartup 中，有如下的代码： 其中定义了 IsUnderPostmastertrue。 而bgwriter 作为 postmaster 的子进程，它的 IsUnderPostmaster 也是为真。 * BackendStartup -- start backend process** returns: STATUS_…
C++读写ini配置文件GetPrivateProfileString()WritePrivateProfileString()
转自：http://hi.baidu.com/andywangcn/blog/item/10ba730f48160eeb37d122e9.html 配置文件中经常用到ini文件，在VC中其函数分别为： #include <Windows.h> //wince,WMobile.ppc不支持这几个函数 写入.ini文件：bool WritePriv…
地图下载2之天超图瓦片格式
接上一篇《地图下载1之天地图瓦片解析》，我们已经知道了天地图的瓦片格式，现在来分析一下超图中瓦片的存储结构。 其实，在GIS领域，只有像ESRI这样强大公司的SHP文件等能通用外，很多数据、格式等都不通用，都…
server 2003登录界面黑屏的解决办法
1、备份注册表（为了安全起见）具体办法：开始-> 运行窗口输入“regedit.exe”->回车->找到注册表->文件->导出->完成； 2、复制下面的文件内容到记事本然后另存为格式为.reg注册表扩展名导入注册表； Wi…
“学了半年后，我要揭开Python 3宗罪！”
有人曾说，未来只有2种人，会Python的人和....不懂Python的小学生，虽有夸张，这也意味着Python越来越重要了，究竟这门语言厉害在哪里？以下为你总结了Python3宗“罪”！Python凭啥这么优秀࿱…
连表/子查询/计算的sql
看不懂的sql语句 1.select om.*,money,cus.c_type,cus.c_weixin_name,isnull(cus.c_discount,0) c_discount,isnull(om.o_money-om.o_money*cus.c_discount,0) money1,isnull(money*(i_year_pointi_month_potinti_piece_point),0) money2,isnull((om.o_money-om.o_money*cus.c_…
vc6静态库的生成和调用
1、静态库的生成： 在vc6.0中CtrlN选择Projects下的Win32 Static Library，Project name:SumLib,点击OK，下一页中的两项可选可不选，点击Finish完成。 在此工程中新建lib.h和lib.cpp两个文件，源码如下： //lib.…
实例变量的访问及数据封装
你已经看到处理分数的方法如何通过名称直接访问两个实例变量numerator和denominator。事实上，实例方法总是可以直接访问它的实例变量的。然而，类方法则不能，因为它只处理本身，并不处理任何类实例（仔细想想）…
清华成立视觉智能研究中心，邓志东任中心主任
整理 | 阿司匹林出品 | AI科技大本营（ID: rgznai100）6月21日，清华大学人工智能研究院视觉智能研究中心正式成立，清华大学副校长、清华大学人工智能研究院管委会主任尤政院士，清华大学人工智能研究院院长张钹院士出席成…