Google发布新的问答语料库，专攻篇章级的NLU问题
译者 | Linstancy
整理 | Jane
出品 | AI科技大本营（ID:rgznai100）
开放域的问答（QA）是自然语言理解（NLU）中的一项基本任务，旨在模拟人是如何通过阅读和理解完整的文档，从而寻找信息、发现问题的答案。例如，对于“天空为什么是蓝色的？”这一问题，QA 系统应能够阅读相关网页 (如维基百科页面) 并给出正确答案，即使答案有点复杂和冗长。
然而，目前还没有大规模、公开可用的自然表述问题数据源（即那些寻求答案的人所提出的问题）以及可用于训练和评估 QA 模型的答案数据源。这是因为要收集用于问答研究的高质量数据集需要大量的实际问题，而构建正确答案还需要大量人力。
NQ 数据集
NQ 是第一个使用自然表述问题的数据集，并且可通过阅读整个页面来查找答案，而不是从某一段落中提取答案。为了创建 NQ 数据集，研究者从用户向 Google 搜索引擎提交的真实、匿名、汇总的问题开始。然后，让注释者通过阅读整个维基百科页面来寻找答案，就像问题是他们所提出的那样。而注释器既会查找长篇幅的答案，涵盖有助推断答案的信息，也会查找使用一个或多个实体回答的简单答案。测试 NQ 语料库中注释质量的准确率达到了 90%。
为了促进 QA 领域研究的进展，Google 研究团队近期开源了一个用于训练和评估开放域问答系统的大规模语料库 Natural Question （NQ），这也是第一个复制端到端问答流程的语料库。NQ 是一个很大的数据库，包括 300000 个自然表述问题，以及来自维基百科页面的人类标注的答案信息。同时，它也是专门用于训练 QA 系统的一个语料库。
此外，研究者还加入了 16000 个示例，相同的问题由 5 个不同的注释器提供答案，这对于评估 QA 系统的学习性能非常有用。相比回答一些计算机已经能够胜任的无关紧要的问题，回答 NQ 语料库中的问题则需要对问题有更深入的理解。因此，Google 官方还发布了一项基于这些数据的挑战项目，来帮助推进自然语言理解领域的研究。
在 NQ 数据集网站上查看更多示例：
https://ai.google.com/research/NaturalQuestions/visualization
研究论文地址：
https://ai.google/research/pubs/pub47761
挑战赛
这个项目还有很多的挑战与困难有待解决，研究者希望 NQ 数据集的发布，并通过举办相关任务的比赛，可以推动研发更有效、更强大的 QA 系统。同时，Google 也鼓励 NLU 社区参与进来，关于比赛的更多信息，可以访问：
https://ai.google.com/research/NaturalQuestions/
（本文为 AI科技大本营翻译文章，转载请微信联系 1092722531。）
征稿
推荐阅读
PDF翻译神器，再也不担心读不懂英文Paper了
Facebook增强版LASER开源：零样本迁移学习，支持93种语言
啥是佩奇排名算法
网络爬虫的法律边界
Caicloud 开源 Nirvana：让 API 从对框架的依赖中涅槃重生
程序员有话说 | 那个拒绝加班的程序员后来怎么样了
告别摩拜
6大改进：盘点以太坊的2018冒险之旅
不难！月薪 50K大牛，悉心整理程序员必备技能！
相关文章：
AjaxControltoolkit(工具包)安装步骤说明
本来打算做一个系统搜索中Ajax AutoComplete自动提示的效果,想尝试一下以前用AjaxControlToolkit中控件,在官网上下载一个AjaxControlToolkit2.0版本我尽然忘了如何安装.很是汗了一把. 看来人都是有惰性的,哪怕自己认为以前比较熟练自信的东西 如果时间一长不做回顾还是不行的 …
linux驱动：TI+DM8127+GPIO（五）之plarform
五、【GPIO驱动框架》平台platform】 （一）设备找驱动 1、drivers/base/platform.c中 int platform_device_register(structplatform_device *pdev) { device_initialize(&pdev->dev); returnplatform_device_add(pdev); } 2、int platform_…
2:0！谷歌 AI “AlphaStar“ 虐杀职业星际玩家
作者 | 若名出品 | AI科技大本营（ID:rgznai100）刚刚，在更复杂的《星际争霸 II》游戏中，DeepMind AI 以总比分 2:0 分别战胜两位职业人类选手。这或许是自 2017 年 AlphaGo 在围棋上战胜人类后，再次让人类刷新 AI 认知的…
插件化知识梳理(7) 类的动态加载入门
一、前言 在 插件化知识梳理(6) - Small 源码分析之 Hook 原理 这一章的学习完成之后，下一步我们将进入插件化加载的精髓，动态加载类的学习，在此之前，我们需要先准备一些关于类加载的知识。 Android当中，支持动态加载的…
redhat中使用securecrt 中文乱码解决办法
具体解决方法是： 1，修改远程linux机器的配置 vim /etc/sysconfig/i18n 把LANG改成支持UTF-8的字符集 如：LANG”zh_CN.UTF-8″ 或者是 LANG”en_US.UTF-8″ 2，然后再改Secure CRT的设置,选项->会话选项->外观->字符编码-&…
知否？知否？一文看懂深度文本分类之DPCNN原理与代码
【导读】ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPCNN，由于上一篇文章介绍的TextCNN 不能通过卷积获得文本的长距离依赖关系，…
linux驱动：设备-总线-驱动（以TI+DM8127中GPIO为例）
一：说明：这次学习设备-总线-驱动是以TIDM8127的GPIO为例 1、GPIO资源注册到omap_hwmod链表中 2、初始化GPIO 3、将GPIO注册到plarform层 4、将GPIO注册到device层 二、流程图 1、GPIO资源注册到omap_hwmod链表中 2、初始化GPIO 3、将GPIO注册到pla…
生活总是在推着你一步一步往前走
上早班的时候，无意间看到了关于高考这个字眼。对于我的高考已经过去五年了，但回想起来记忆依旧是那么深刻。记得五年前的那个日子，阳光明媚，空气中到处都是一股夏天的气息，我妈和我哥早早的从家里搭车到县城࿰…
急!!!求从字符串中提取形如: div([MC0010000000006],此若干个字符或数字,0) 的正则表达式...
如题, 形如: div([MC0010000000006],此处有若干个字符或数字, 此处只有一个字符) 静坐等待.
C# 如何创建Excel多级分组
在Excel中如果能够将具有多级明细的数据进行分组显示，可以清晰地展示数据表格的整体结构，使整个文档具有一定层次感。根据需要设置显示或者隐藏分类数据下的详细信息，在便于数据查看、管理的同时也使文档更具美观性。那么，在C#中如…
苹果裁员逾200人，拿无人驾驶“开刀”
整理 | 琥珀出品 | AI科技大本营1 月 14日，据美国媒体 CNBC 援引知情人士消息报道称，本周，苹果泰坦项目（Project Titan）的 200 多名员工遭到解雇。据悉，泰坦项目是苹果未公开的自动驾驶汽车项目。一名苹果发…
linux驱动：i2c驱动（一）
I2C系统框架：I2C核心层、I2C总线驱动、I2C设备驱动 -------------------------------------------------------------------------------- 【I2C核心层】 代码在driver/i2c/i2c-core.c中 【I2C总线驱动】也叫I2C适配器驱动 1、每个适配器视为一个字符设备文件 …
关于SQLServer2005的学习笔记——XML的处理
在 SQLServer2005 中对 XML 的处理功能显然增强了很多，提供了 query(),value(),exist(),modify(),nodes() 等函数。关于 xml ，难以理解的不是 SQLServer 提供的函数，而是对 xml 本身的理解，看似很简单的文件格式，处理起…
2019最新实战！给程序员的7节深度学习必修课，最好还会Python！
整理 | 琥珀出品 | AI科技大本营从 2017 年开始，fast.ai 创始人、数据科学家 Jeremy Howard 以每年一迭代的方式更新“针对编程者的深度学习课程”（Practical Deep Learning For Coders）。这场免费的课程可以教大家如何搭建最前沿的模型、了解…
linux驱动：i2c驱动（二）
3、驱动源码分析 IPNC_RDK_V3.8.0.1/Source/ti_tools/ipnc_psp_arago/kernel/sound/soc/codecs/tlv320aic3x.c 3.1 注册模块 module_init(aic3x_modinit); 3.2 在初始化函数中添加i2c驱动 static int __init aic3x_modinit(void) { intret 0; #if defined(CONFIG_I2C) ||…
01 使用AFN3 0上传图片时间慢的问题
##iOS中修改图片的大小：修改分辨率和裁剪 ###第一步:裁剪图片 // 裁剪// 要裁剪的图片区域，按照原图的像素大小来，超过原图大小的边自动适配CGSize size CGSizeMake(1000, 1000);UIImage *img [self imageWithImageSimple:image scaledToS…
配置telnet
配置telnet<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />允许root账号能够登录telnet，但是拒绝某一台主机登录且只允许在9：00-14：00 14：00-18：00能够访问࿰…
04 pod setup 慢的问题
解决方式一: 可以直接从别人的电脑中拷贝解决方式二转载于:https://juejin.im/post/5a3c5a985188257d391d3a39
linux驱动：i2c驱动（三）流程图之注册设备
一、设备注册过程 1、将i2c设备信息保存到i2c_board_info结构体中； 2、在注册i2c_board_info时（i2c_register_board_info）将它加入一个全局列表__i2c_board_list中， 3、在注册I2c adapter适配器驱动后，再从全局列表…
AI找Bug，一键快速预测
作者 | Jane出品 | AI科技大本营（ID:rgznai100）在程序开发中，程序员每天都要和 Bug 打交道，对新手程序员而言，debug 是一件非常让人头疼的事情。好不容易写完一段代码，一运行，全是红色ÿ…
专业研究HP procurve网络、阿姆瑞特和系统集成的论坛
一个专业研究HP procurve网络、阿姆瑞特防火墙和系统集成的论坛http://www.vlan2.com确实不错。转载于:https://blog.51cto.com/showrouter/284235
到底是什么特征影响着CNN的性能？
作者 | 刘畅 编辑 | Jane出品 | AI科技大本营（ID:rgznai100）开门见山。最近阅读了一篇论文，加上看了一些之前的工作。记录一下，CNN 到底学到了什么东西，或者换句话讲。到底是什么样的特征在影响着CNN 的性能࿱…
Java数据结构与算法(八)-二叉树
一、为什么要使用树 有序数组插入、删除数据慢。链表查找数据慢树可以解决这两个问题二、相关术语 树的结点：包含一个数据元素及若干指向子树的分支；孩子结点：结点的子树的根称为该结点的孩子；双亲结点：B 结点是A 结点…
linux驱动：i2c驱动（四）流程图之注册驱动
二、i2c设备的驱动部分 1、i2c驱动i2c_driver 2、通过i2c_add_driver注册 2、注册过程中 比较i2c_device_id数组中各成员的id与i2c_client中的名字，找到设备 3、执行i2c_driver驱动中的probe
Expression Blend实例中文教程(2) - 界面快速入门
上一篇主要介绍Expression系列产品，另外概述了Blend的强大功能，本篇将用Blend 3创建一个新Silverlight项目，通过创建的过程，对Blend进行快速入门学习。 在开始使用Blend前，首先需要进行Silverlight的开发环境搭建&…
Lua基本语法-书写规范以及自带常用函数
Lua基本语法-书写规范和常用函数本文提供全流程，中文翻译。Chinar坚持将简单的生活方式，带给世人！（拥有更好的阅读体验 —— 高分辨率用户请根据需求调整网页缩放比例） 1String Operation —— 字符串操作2Table ——…
linux驱动：音频驱动（一）ALSA
一、【基础知识】 1、J2 《--HPR_OUTHPL_OUT 《-- U13（TLV320AIC3104IRHBR）的HPROUTHPLOUT 2、驱动源码 IPNC_RDK_V3.8.0.1/Source/ti_tools/ipnc_psp_arago/kernel/sound/soc/codecs/tlv320aic3x.c 3、依赖于I2C驱动 4、声卡驱动框架：…
秘籍 | 机器学习数据集网址大全
作者 | Will Badr译者 | Linstancy整理 | Jane出品 | AI科技大本营（ID:rgznai100）要找到一定特定的数据集可以解决各种机器学习问题，是一件很难的事情。越来越多企业或研究机构将自己的数据集公开，已经成为全球的趋势，…
为asa防火墙配置ssh登陆
由于最近事情超多，单位下发某些令人恶心的制度，今天突然说北京分公司和总公司之间要做***的连接，虽然俺是个CCNP，但是对于***来说接触的少之又少，并且工作繁忙，每天头大，北京分公司的安全ie同事…
70.nodejs操作mongodb
转自：https://www.cnblogs.com/whoamme/p/3467374.html 首先安装nodejs mongodb npm install mongodb var mongodb require(mongodb); var server new mongodb.Server(localhost, 27017, {auto_reconnect:true}); var db new mongodb.Db(mydb, server, {saf…