京东智能内容创作算法的演进与实践：基于关键词自动生成摘要
来源 | 京东智联云开发者
导读：京东商城背后的 AI 技术能力揭秘： 基于关键词自动生成摘要
过去几十年间，人类的计算能力获得了巨大提升；随着数据不断积累，算法日益先进，我们已经步入了人工智能时代。确实，人工智能概念很难理解，技术更是了不起，背后的数据和算法非常庞大复杂。很多人都在疑惑，现在或未来AI将会有哪些实际应用呢？
其实，关于AI的实际应用以及所带来的商业价值并没有那么的“玄幻”，很多时候就已经在我们的身边。接下来，【AI论文解读】专栏将会通过相关AI论文的解读，由深入浅地为大家揭秘，AI技术是如何对电商领域进行赋能，以及相关的落地与实践。
人工智能技术在电商领域，有着丰富的应用场景。应用场景是数据入口，数据通过技术得到提炼，反过来又作用于技术，二者相辅相成。
京东基于自然语言理解与知识图谱技术，开发了商品营销内容AI写作服务。并将此项技术应用到了京东商城【发现好货】频道中。
京东【发现好货】频道
通过AI创作的数十万商品营销图文素材，不仅填补了商品更新与达人写作内容更新之间的巨大缺口，也提升了内容频道的内容丰富性。
同时，AI生成内容在曝光点击率、进商详转化率等方面其实都表现出了优于人工创作营销的内容。
接下来让我们让我通过解读入选 AAAI 2020 的论文来一起来看看，如何通过AI来实现针对不同群体采用不同营销策略及不同风格的营销文案从而提高营销转化率的。
自动文本摘要（简称“自动文摘”）是自然语言处理领域中的一个传统任务，其提出于 20 世纪 50 年代。自动文摘任务的目标是对于给定的文本，获得一段包含了其中最重要信息的简化文本。常用的自动文摘方法包括抽取式自动文摘（Extractive Summarization)和生成式自动文摘（Abstractive Summarization)。抽取式自动文摘通过提取给定文本中已存在的关键词、短语或句子组成摘要；生成式自动文摘通过对给定文本建立抽象的语意表示，利用自然语言生成技术，生成摘要。
本文所介绍的是基于关键词指导的生成式句子摘要方法，该方法融合了抽取式自动文摘和生成式自动文摘，在Gigaword句子摘要数据集上与对比模型相比，取得了更好的性能。
论文链接：
http://box.jd.com/sharedInfo/B2234BB08E365EEC
生成式句子摘要
生成式句子摘要(Abstractive Sentence Summarization)任务的输入是一个较长的句子，输出是该输入句子的简化短句。
我们注意到，输入句子中的一些重要词语（即关键词）为摘要的生成提供了指导线索。另一方面，当人们在为输入句子创作摘要时，也往往会先找出输入句子中的关键词，然后组织语言将这些关键词串接起来。最终，生成内容不仅会涵盖这些关键词，还会确保其流畅性和语法正确性。我们认为，相较于纯粹的抽取式自动文摘和生成式自动文摘，基于关键词指导的生成式自动文摘更接近于人们创作摘要时的习惯。
图1：输入句和参考摘要之间的重叠关键词(用红色标记)涵盖了输入句的重要信息，我们可以根据从输入语句中提取的关键字生成摘要
我们举一个简单的句子摘要的例子。如图1所示，我们可以大致将输入句子和参考摘要的重叠的词（停用词除外）作为关键词，这些重叠的词语覆盖了输入句子的要点。例如，我们通过关键词“世界各国领导人”“关闭”和“切尔诺贝利” ，可以获取输入句子的主旨信息，即“世界各国领导人呼吁关闭切尔诺贝利”，这与实际的参考摘要 “世界各国领导人敦促支持切尔诺贝利核电站关闭计划”是相吻合的。这种现象在句子摘要任务中很常见：在Gigaword句子摘要数据集上，参考摘要中的词语超过半数会出现在输入句子中。
模型概述
句子摘要任务的输入为一个较长的句子，输出是一个简短的文本摘要。我们的动机是，输入文本中的关键词可以为自动文摘系统提供重要的指导信息。首先，我们将输入文本和参考摘要之间重叠的词（停用词除外）作为Ground-Truth关键词，通过多任务学习的方式，共享同一个编码器对输入文本进行编码，训练关键词提取模型和摘要生成模型，其中关键词提取模型是基于编码器隐层状态的序列标注模型，摘要生成模型是基于关键词指导的端到端模型。关键词提取模型和摘要生成模型均训练收敛后，我们利用训练好的关键词提取模型对训练集中的文本抽取关键词，利用抽取到的关键词对摘要生成模型进行微调。测试时，我们先利用关键词提取模型对测试集中的文本抽取关键词，最终利用抽取到的关键词和原始测试文本生成摘要。
1、多任务学习
文本摘要任务和关键词提取任务在某种意义上非常相似，都是为了提取输入文本中的关键信息。不同点在于其输出的形式：文本摘要任务输出的是一段完整的文本，而关键词提取任务输出的是关键词的集合。我们认为这两个任务均需要编码器能够识别出输入文本中的重要信息的能力。因此，我们利用多任务学习框架，共享这两个任务编码器，提升编码器的性能。
2、基于关键词指导的摘要生成模型
我们受Zhou等人工作[1]的启发，提出了一种基于关键词指导的选择性编码。具体来说，由于关键词含有较为重要的信息，通过关键词的指导，我们构建一个选择门网络，其对输入文本的隐层语义信息进行二次编码，构造出一个新的隐层。基于这个新的隐层进行后续的解码。
我们的解码器基于Pointer-Generator网络[2]，即融合了复制机制的端到端模型。对于Generator模块，我们提出直连、门融合和层次化融合的方式对原始输入文本和关键词的上下文信息进行融合；对于Pointer模块，我们的模型可以选择性地将原始输入和关键词中的文本复制到输出摘要中。
实验与分析
1、数据集
在本次实验中，我们选择在Gigaword数据集上进行实验，该数据集包含约380万个训练句子摘要对。我们使用了8000对作为验证集，2000对作为测试集。
2、实验结果
表1显示了我们提出的模型比没有关键词指导的模型表现更好。我们测试了不同的选择性编码机制，分别是输入文本的自选择，关键词选择和互选择，实验结果显示互选择的效果最佳；对于Generator模块，我们发现层次化融合的方式要优于其他两种融合方式；我们的双向Pointer模块比原始的仅能从输入文本中复制的模型表现更好。
表1
总结
本文致力于生成式句子摘要的任务，即如何将一个长句子转换成一个简短的摘要。我们提出的模型可以利用关键词作为指导，生成更加优质的摘要，获得了比对比模型更好的效果。
1）通过采用了多任务学习框架来提取关键词和生成摘要；
2）通过基于关键字的选择性编码策略，在编码过程中获取重要的信息；
3）通过双重注意力机制，动态地融合了原始输入句子和关键词的信息；
4）通过双重复制机制，将原始输入句子和关键词中的单词复制到输出摘要中。
在标准句子摘要数据集上，我们验证了关键词对句子摘要任务的有效性。
注释：
[1] Zhou, Q.; Yang, N.; Wei, F.; and Zhou, M. 2017. Selective encoding for abstractive sentence summarization. In Proceedings of ACL, 1095–1104.
[2] See, A.; Liu, P. J.; and Manning, C. D. 2017. Get to the point: Summarization with pointer-generator networks. In Proceedings of ACL, 1073–1083.
同时，欢迎所有开发者扫描下方二维码填写《开发者与AI大调研》，只需2分钟，便可收获价值299元的「AI开发者万人大会」在线直播门票!
推荐阅读全球呼吸机告急！医疗科技巨头美敦力“开源”设计图和源代码京东商城背后的AI技术能力揭秘 - 基于关键词自动生成摘要互联网之父确诊新冠，一代传奇：任谷歌副总裁、NASA 访问科学家微软为一人收购一公司？破解索尼程序、写黑客小说，看他彪悍的程序人生！在Kubernetes上部署一个简单的、类PaaS的平台，原来这么容易！2020年，这20个大家都认识的加密交易所过得怎么样？
你点的每个“在看”，我都认真当成了AI
相关文章：
【基础复习】二：预处理、const与sizeof
赋值语句 1.i的值为？ #include <iostream> using namespace std; int i 1; int main() {int i i; } 解析： 此时main函数内的i是优先考虑局部变量，除非使用作用域符号，否则是和外面值为1的i是无关的。 其次，使用…
使用多线程还是用IO复用select/epoll? epoll 或者 kqueue 的原理是什么？
原作者：蓝形参 原文：http://www.zhihu.com/question/20114168/answer/14024115 使用多线程还是用IO复用select/epoll? 多线程模型适用于处理短连接，且连接的打开关闭非常频繁的情形，但不适合处理长连接。多线程模型默认情况下…
使用大batch优化深度学习：训练BERT仅需76分钟 | ICLR 2020
作者 | Yang You, Jing Li等译者 | 刘畅在海量数据集上训练大型深度神经网络，是非常具有挑战性的。最近，有许多研究均使用大batch随机优化方法来解决此问题。在该研究领域中，目前最杰出的算法是LARS，它通过采用分层自适应学习率&a…
华为AR28-11路由器配置
公司使用华为AR28-11路由器，宽带接入。现使用2M光纤接入，地址：124.117.254.* 255.255.255.252.公司电脑使用192.168.1.0 255.255.255.0 网段地址参考配置#version 5.20, Release 1205P02, Basic#sysname H3C#domain default enable system#vl…
PHPExcel使用-使用PHPExcel导出文件-导出MySQL数据
现在数据库里面有一组数据，我们将它按照不同的难度进行分sheet. 首先我们需要写一个mysql的配置文件- db.config.php(utf-8编码) : <?php $dbconfig array( host > 127.0.0.1, username > root, password > , database > xxx, charset &…
C语言清空输入缓冲区的N种方法对比
C语言中有几个基本输入函数： //获取字符系列 int fgetc(FILE *stream); int getc(FILE *stream); int getchar(void); //获取行系列 char *fgets(char * restrict s, int n, FILE * restrict stream); char *gets(char *s);//可能导致溢出，用fgets代替之…
低耗时、高精度，微软提基于半监督学习的神经网络结构搜索算法
作者 | 罗人千、谭旭、王蕊、秦涛、陈恩红、刘铁岩 来源 | 微软研究院AI头条（ID:MSRAsia）编者按：近年来，神经网络结构搜索（Neural Architecture Search, NAS）取得了较大的突破，但仍然面临搜索耗…
《虚拟化与云计算》读书感（三）数据中心的概述
看了《虚拟化与云计算》的第一章第一节‘数据中心的概述’。在我读这一节开始，我看到这个题目的时候总是联想到类似谷歌数据中心一类的东西，多个硬盘或者服务器的堆叠。然后整来几个集装箱把这些堆叠的服务器塞进去，然后供用户使用。然而自从…
golang笔记——struct
1、定义一个结构体 type User struct {userid intusername stringpassword string } 2、初始化一个结构体 有两种情况，一是得到结构体的对象，一是得到结构的对象指针，分别有三种方式： //第1种方式，先声明对象&#x…
posix_memalign
翻译的<Linux system programming> 第八章 二 ;《Linux System Programming》中文版 对齐 数据的对齐(alignment)是指数据的地址和由硬件条件决定的内存块大小之间的关系。一个变量的地址是它大小的倍数的时候，这就叫做自然对齐(naturally aligned)。例如&…
ubuntu 10.04 安装eclipse及其中文语言包
1.安装eclipsesudo apt-get install eclipse2.暗自中文语言包点 击下载中文语言包（http://www.eclipse.org/downloads/download.php?file /technology/babel/babel_language_packs/BabelLanguagePack-eclipse- zh_3.5.0.v20091121043401.zip&urlhttp://d2u376u…
世界顶级赛事百万座位如何做到票务限时匹配？
作者 | 阿里文娱技术专家 展恒出品 | AI科技大本营（ID:rgznai100）背景麦座，是大麦旗下的票务系统。去年，我们承接了 2019 年国际篮联篮球世界杯（2019FBWC）， 核心目标是完成三种套票的运营及售卖…
[转](不理想)Ubuntu下更改主显示器
参考链接：http://www.cnblogs.com/feng_013/archive/2012/03/05/2380111.html 查看显示器信息： fdmfdm-OptiPlex-780:~$ xrandr 设置主显示器 fdmfdm-OptiPlex-780:~$ xrandr --output HDMI1 --auto --primary 设置副显示器在主显示器右边 fdmfdm-OptiPl…
Nginx源码分析--数据对齐posix_memalign和memalign函数
posix_memalign函数() /* * 背景： * 1）POSIX 1003.1d * 2）POSIX 标明了通过malloc( ), calloc( ), 和 realloc( ) 返回的地址对于 * 任何的C类型来说都是对齐的 * 功能：由posix_memalign分配的内存空间&…
不要一辈子靠技术生存
今天看了一篇文章,感受挺深的,人的一生不能一辈子靠技术生存,尽管你的技术能力很强.(文章转载出处忘记,有哪位朋友知道的提醒一下)一、 在中国你千万不要因为学习技术就可以换来稳定的生活和高的薪水待遇，你千万更不要认为哪些从事 市场开发，跑腿的人&am…
中国顶尖的技术社区们在一个群里，会聊什么…
* 文中表情包图片来自网络
矩阵中路径数目问题
在如下8*6的矩阵中，请计算从A移动到B一共有____种走法。要求每次只能向上或向右移动一格，并且不能经过P。 8*6的矩阵，从左下角A到右上角B，一共需要走12步，其中5步向上，7步向右，因此总的走法一共…
RANet : 分辨率自适应网络效果和性能的best trade-off | CVPR 2020
作者 | VincentLee来源 | 晓飞的算法工程笔记简介深度CNN带来了性能提升的同时也带来了过高的计算量，许多研究放在了如何进行网络加速上面，其中比较直接的是根据样本难易程度进行自动调整的自适应网络。基于对自适应网络的研究，论文提出了自适…
strcpy,memcpy和memmove区别
strcpy和memcpy都是标准C库函数，它们有下面的特点。 strcpy提供了字符串的复制。即strcpy只用于字符串复制，并且它不仅复制字符串内容之外，还会复制字符串的结束符。 已知strcpy函数的原型是：char* strcpy(char* dest, const cha…
WinForm 读写配置文件
读配置文件 方法(1) //ConfigurationManager.RefreshSection("appSettings");stringsettingValue ConfigurationManager.AppSettings.Get("setting1");读配置文件 方法(2) Configuration config ConfigurationManager.OpenExeConfiguration(ConfigurationU…
PHP 读取数据库内容并以二维数组按指定列输出实例
最新PHP 读取数据库内容并以二维数组按指定列输出实例以下是三零网为大家整理的最新PHP 读取数据库内容并以二维数组按指定列输出实例的文章，希望大家能够喜欢!<?php$host "localhost"; //主机名$user "root"; //mysql用户名$passwor…
指针的本质2-void和void*及其应用在nginx中的应用
指针本质论指针有两个属性:指向变量/对象的地址和长度。 但是指针只存储地址,长度则取决于指针的类型，编译器根据指针的类型从指针指向的地址向后寻址， 指针类型不同则寻址范围也不同，比如: int*从指定地址向后寻找4字节作为变量的存储单元&…
首次揭秘！大麦如何应对超大规模高性能选座抢票？
作者| 阿里文娱技术专家恒磊、高级开发工程师新钱出品 | AI科技大本营（ID:rgznai100）背景介绍随着现场娱乐行业的不断发展，各类演出层出不穷，越来越多的演出开启选座购票满足用 户的自主选座需求。大麦的选座不仅面向中小场馆类的…
华为交换机密码恢复
华为交换机密码恢复说明：以下方法将删除原有config文件，使设备恢复到出厂配置。在设备重启时按CtrlB进入BOOT MENU之后，Press Ctrl-B to enter Boot Menu... 5Password : 缺省为空，回车即可1. Download application file to flash…
nginx源码分析--内存对齐处理
1.nginx内存对齐主要是做2件事情： 1) 内存池的内存地址对齐； 2) 长度按照2的幂取整.因为前面结构体已经是对齐了，如果后面的内存池每一小块不是2的幂，那么后面的就不能对齐 2.通用内存对齐理论 内存对齐：数据项只能…
七喜携手AMD，摆脱英特尔“潜规则”
七喜携手AMD，摆脱英特尔“潜规则”<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />最近，在PC市场随着七喜董事副总裁毛骏飙揭发英特尔制定的潜规则，“游戏规则都是英特尔制定的，全…
半小时训练亿级规模知识图谱，亚马逊AI开源知识图谱嵌入表示框架DGL-KE
出品 | AI科技大本营（ID:rgznai100） 知识图谱 （Knowledge Graph）作为一个重要的技术，在近几年里被广泛运用在了信息检索，自然语言处理，以及推荐系统等各种领域。学习知识图谱的嵌入表示 &#x…
数组的各类排序
1 package sort;2 3 /**4 * 数组的各种排序操作5 * Created by liuwei on 16/3/6.6 */7 public class MSort {8 9 /**10 * 直接插入排序11 * 外层一个循环,从第2个元素开始(下标为1),遍历后面的所有元素12 * 内层一个循环,从当前位置position i 开始,每次…
Virtualbox安装使用注意
1.VirtualBox升级到4.3以后不能打开 提示创建 COM 对象失败 应用程序将被中断 解决方案：右键VirtualBox的桌面快捷方式，选择属性，选到兼容性选项卡，勾选“以兼容模式运行这个程序”，下拉框选择Windows Server 2008 …
机器学习项目模板：ML项目的6个基本步骤
来源 | DeepHub IMBA每个机器学习项目都有自己独特的形式。对于每个项目，都可以遵循一组预定义的步骤。尽管没有严格的流程，但是可以提出一个通用模板。准备问题不仅是机器学习，任何项目的第一步都是简单地定义当前的问题。您首先需要了解背景…