Facebook最新研究：无需额外训练AI，即可加速NLP任务
作者 | KYLE WIGGERS
译者 | Kolen
出品 | AI科技大本营（ID:rgznai100）
自然语言模型通常要解决两个难题：将句子前缀映射到固定大小的表示形式，并使用这些表示形式来预测文本中的下一个单词。
在最近的一篇论文（https://arxiv.org/pdf/1911.00172.pdf）中，Facebook AI Research的研究人员宣称，第一个问题——映射问题——可能比预测问题更容易，他们在具有“最近邻”检索机制的语言模型上建立了一个假设来扩充语言模型。他们称，它可以记住罕见的模式，并且无需额外的培训即可达到最新的复杂性评分（词汇和语法多样性的衡量标准）。
正如研究人员所解释的那样，语言模型将概率分配给单词序列，从而使它们根据标记（例如单词）的上下文序列来估计目标标记的分布（发生不同可能结果的概率）。他们所提出的方法KNN-LM将上下文映射到由预先训练的语言模型计算的固定长度的数学表示形式。给定一个训练示例，定义了一个键值对，其中键是上下文的数学表示，而值是目标单词。
在测试时，KNN-LM获取输入的上下文，并且在接下来的单词和上下文表上生成下一个单词的输出分布和上下文表示。它根据一个距离函数来检索其最近邻，即此时它计算邻域上的分布，同时汇总每个词汇项在检索到的目标中所有出现的概率。
研究人员注意到，KNN-LM与产生固定大小的上下文表示的任何语言模型都兼容。在这项研究中，这使我们能够在基于Wikipedia文章的1.03亿个分词组成的数据集上训练基于Transformer的模型，其中25万个分词保留用于开发和测试。
在实验中，KNN-LM在测试时“显著”优于基线，该团队将其归因于KNN-LM更倾向于学习具有隐含相似性概念的上下文表示函数。KNN-LM增加了一些计算开销-大约需要两个小时才能在单个处理器上为1.03亿个条目构建缓存，而运行验证集大约需要25分钟的时间。但是该团队指出，将模型并行化是“微不足道的”，而且不需要基于GPU来训练模型。
该研究的共同作者写道：“一般来说，我们发现KNN-LM最有用的例子通常包含罕见的模式，例子包括事实知识、命名实体和训练集中几乎重复的句子。在这些情况下，为训练实例和测试实例分配相似的表示形式……比隐式记住模型参数中的下一个单词似乎更容易解决问题。”
原文链接：
https://venturebeat.com/2020/02/19/facebooks-ai-speeds-up-natural-language-processing-without-additional-training/
【end】
◆
精彩推荐
◆
CSDNx巨杉大学联合认证学习，免费开放！“分布式数据库集训营”帮助您从零开始学习分布式数据库、分布式架构知识，现在加入活动，完成课程还将专属礼品。快来参加吧~
了解详情：http://www.sequoiadb.com/cn/university-camp
推荐阅读
福利直达！CSDN技术公开课评选进行中
CNN vs RNN vs ANN——3种神经网络分析模型，你pick谁？
登顶 GitHub 趋势榜，标星1.8k：200 行 JS 代码让画面人物瞬间消失！
稳定、可扩展、模块化、简化部署过程...一文看懂 Kubernetes 到底如何运用！
“不让一块芯片流向华为”？
《2019链游玩家需求调研报告》重磅发布！
你点的每个“在看”，我都认真当成了AI
相关文章：
PgSQL · 特性分析 · full page write 机制
PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含…
局域网DVD yum源的制作
今天在网上溜达,看到这篇文章不错,于是就转载过来,感谢原作者的辛苦劳动.源地址:http://blog.chinaunix.net/u3/94782/showart_1953260.html一：两台计算机做实验<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />1&…
AWS攻略——使用S3托管静态网页
在AWS上有很多部署静态网页的方式，比如使用EC2或者Lightsail。但是不管使用上述哪种方案，都需要预先部署如Nignx或者Apache等Http服务。这对纯前端同学来说可能有点复杂，而AWS提供了更简单的部署方式——只需要提供静态网页文件的“S3网页托管…
2020年涨薪26-30％，能实现吗？18％数据科学家是这么期待的
作者丨Big Cloud编译 | 武明利，责编丨Carol出品 | AI科技大本营（ID:rgznai100）本报告将深入探讨亚太地区各个背景、不同年龄和不同地点的专业人员对2019/2020年的见解。今年贡献最大的地区来自新加坡和澳大利亚。因为这些是我们最大的数据点&…
AWS攻略——使用CodeBuild进行自动化构建和部署静态网页
首先声明下，使用“CodeBuild”部署并不是“正统”的方案，因为AWS提供了“CodeDeploy”。如果不希望引入太多基础设施，可以考虑直接使用CodeBuild进行部署。（转载请指明出于breaksoftware的csdn博客） 创建构建项目 kro…
我们需要什么样的数据架构？
作者 | Stephanie shen编译 | 火火酱，责编丨Carol出品 | AI科技大本营（ID:rgznai100）在大数据和数据科学的新时代，对企业而言，一定要有与业务流程保持一致的中心化数据架构，该架构能随业务增长而扩展&#…
Windows Server 2008 R2 之二十九故障转移群集（一）(
关于Windows Server 2008故障转移群集见http://technet.microsoft.com/zh-cn/library/cc732488(WS.10).aspx实验环境：两台已安装好Windows Server 2008 R2的计算机R2DC01、R2DC02,均为DC、DNS，域名为HBYCRSJ.COM,均有两块网卡。分别为心跳网络和本地连接…
基于多核DSP处理器DM8168的视频处理方法
摘要：随着1080P高清视频以及4K超高清晰视频的普及和应用，基于传统单核DSP处理器的视频信息处理已有些力不从心。为此TI公司推出了一款专门用于高清视频处理的多核DSP处理器，它拥有4个不同类型的处理器，使得视频处理达到了一个更高…
AWS攻略——使用CodeBuild进行自动化构建和部署Lambda（Python）
Aws Lambda是Amazon推出的“无服务架构”服务。我们只需要简单的上传代码，做些简单的配置，便可以使用。而且它是按运行时间收费，这对于低频访问的服务来说很划算。具体的介绍可以常见aws lambda的官网。（转载请指明出于breaksoftw…
vmware 添加 磁盘 空间
VMware安装linux的时候默认分配的空间是4GB，可能会不够，这个时候可以通过增加一块虚拟硬盘，将/usr或其他内容拷贝过去解决这个问题：创建虚拟硬盘1、关闭VM中正在运行的虚拟系统；2、在虚拟系统名称上点右键－…
Python爬取考研数据：所有985高校、六成211高校均可调剂
又到了一年一度的考研出分时间啦，近期有不少朋友让笔者帮他们分析如何提前做好调剂。复试与调剂总是密不可分。今天，给大家分享一些调剂的重要知识点，希望你在调剂的时候，能明白调剂的趋势与规则。也许，大家对于调剂的…
iOS审核秘籍】提审资源检查大法
iOS审核秘籍】提审资源检查大法 2015/11/27阅读（752）评论（1）收藏（6）加入人人都是产品经理【起点学院】产品经理实战训练营，BAT产品总监手把手带你学产品点此查看详情！ 本篇主要是提审…
谈一次单元测试驱动代码重构
目前团队并没有QA岗，而且在很长一段时间内，可能也不会设立QA岗，所以我们需要RD保证代码的质量。而鉴于人类天生的“惰性”，很多时候质量完全依赖于作者的能力以及职业素质。于是我在团队内推动单元测试，并要求提升测试…
新机会在广州拓波
公司简介广州拓波软件科技有限公司的前身为 Turbomail工作室，由广州华工信息软件（集团）有限公司于2002 年成立，是一家专业研发电子邮件系统、企业即时通信和企业短信的开发组织，2005年TurboMail工作室正式发布1.0.2版本…
关于正则表达式，这篇都讲清楚了
作者 | 猪哥来源 | 裸睡的猪（ID:rgznai100）目前越来越多的网站、编辑器、编程语言都已支持一种叫“正则表达式”的字符串查找“公式”，有过编程经验的同学都应该了解正则表达式（Regular Expression 简写regex）是什么东…
MJExtension简介
MJExtension简介 前言：关于MJExtension更多的使用，可以到github网站上根据详述学习。 字典转模型比较流行的第三方框架 Mantle所有模型都必须继承自MTModel JSONModel所有模型都必须继承自JSONModel MJExtension不需要强制继承任何其他类 框架需要考虑的…
Discuz!常用函数解析（续）
/*** 产生随机码* param $length - 要多长* param $numberic - 数字还是字符串* return 返回字符串*/function random($length, $numeric 0) {PHP_VERSION < 4.2.0 && mt_srand((double)microtime() * 1000000);if($numeric) {$hash sprintf(%0.$length.d, mt_ran…
基于新型忆阻器的存内计算原理、研究和挑战
作者 | 林钰登、高滨、王小虎、钱鹤、吴华强来源 | 《微纳电子与智能制造》期刊引言过去半个世纪以来 ，芯片计算性能的提高主要依赖于场效应晶体管尺寸的缩小。随着特征尺寸的减小 ，器件的制备成本和制造工艺难度不断增加 ，芯 片性能的提升愈…
3、JPA一些常用的注解
常用注解有下面这些： ①：Entity、Table、Id、GeneratedValue、Column、Basic ②：Transient 用于忽略某个属性，而不对该属性进行持久化操作 ③：Temporal 一、第①组注解 Entity 标注用于实体类声明语句之前，…
实战域树部署，Active Directory系列之十九
实战子域部署<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />域树是Active Directory针对NT4的传统域模型所进行的重要改进。在NT4时代的域模型中，每个域都要使用没有层次结构的NETBIOS名称，而且域和域之…
黑科技抗疫，Python开发者大集结！
2020年初，突如其来的新型冠状病毒肺炎打乱了所有人的节奏，但社会各界迅速团结起来，为抗击疫情贡献出自己的力量。除了捐款捐物外，很多科技公司运用5G、大数据、AI、云计算等新互联网技术，以科技的手段助力抗疫…
Inplayable技术分享
Inplayable技术分享运维设计模式Web安全工具语言python运维 《aws lambda 通过codebuild上线踩坑指南之 lambda 进程被占用 status error 255》《google pay 配置sub/pub回调》《AWS攻略——使用CodeCommit托管代码》《AWS攻略——使用S3托管静态网页》《AWS攻略——使用CodeB…
将数组A中的内容和数组B中的内容进行交换（数组一样大）
#include <stdio.h>int main() {int arr1[10]{1,2,3,4,5,11,14,16,17,12};int arr2[10]{0,6,7,8,9,15,21,18,19,13};int arr3[10];int i0;for(i0;i<sizeof(arr1)/sizeof(arr1[0]);i){arr3[i]arr1[i];arr1[i]arr2[i];arr2[i]arr3[i];//不定义第三个变量的两种种方法&am…
***必备工具
***必备工具一、扫描工具 X-scan 3.1 焦点出的扫描器，国内最优秀的安全扫描软件之一!非常专业的一个扫描器! X-way 2.5 这也上一个非常不错的扫描器哦!功能非常多!使用也不难,***必备工具! SuperScan 3.0 强大的TCP 端口扫描器、Ping 和域名解析器! Namp 3.5 这个就…
通过评估假设行为来学习人类目标
来源| deepmind编译| 武明利，责编| Carol出品 | AI科技大本营（ID：rgznai100）当我们在现实世界中训练强化学习（RL）代理时，我们不会希望它们探索不安全的状态，例如将一个移动机器人开进…
ReactiveCocoa入门-part2
ReactiveCocoa是一个框架，它能让你在iOS应用中使用函数响应式编程（FRP）技术。在本系列教程的第一部分中，你学到了如何将标准的动作与事件处理逻辑替换为发送事件流的信号。你还学到了如何转换、分割和聚合这些信号。 在本系列教程…
VirtualBox虚拟机安装RedHat7.3编译Linux0.01内核
引子 由于需要编译linux0.01内核，而目前的linux版本太高需要降低gcc版本等等，需要做不少调整非常不方便。 所以，直接安装RedHat7.3，这样就好编译linux0.01的内核了。 但是，安装RedHat7.3需要注意一些问题。 下载老…
远程办公是巨头游戏？十倍扩容，他们如何做到百万级并发流量
疫情发生后，除了Zoom这样深耕视频会议多年的软件，钉钉、企业微信、飞书等一大批互联网巨头也开通了免费服务，凭借着自身庞大的资源四处招揽用户。 据说，远程办公工具是2020年的第一个风口。 疫情发生后，除了Zoom这样深…
linux下使用sort命令升序、降序、随机及组合方式排序方法
示例文件：####################################################序号 优先级 字段1 字段21 5 abc def2 5 ae3 wff6 4 l…
mysql数据库备份、恢复文档
说明:为了加强线上数据库安全，避免研发人员误操作造成数据的丢失，制作本文档。一线运维人员可以参考!一、数据备份：专用数据库备份服务器，定时对数据库进行热备、冷备，即主从设置、mysqldump冷备、mysql-bin-log日志备…