25年了，我总结出这些信息提取的经验教训
作者 | Ehud Reiter
译者 | 夕颜
出品 | AI科技大本营（ID:rgznai100）
【导读】近日，本文作者阿伯丁大学计算科学系教授 Ehud Reiter 及其带领的阅读小组读了一篇让他们印象深刻的论文——由 Ralph Grishman 发表的《信息提取 25 年》（25 Years of Information Extraction） 。在这篇论文中，格里什曼（比本文作者更长寿，1973 年获得博士学位）总结了 1994 年至 2019 年之间 NLP 子领域信息提取（IE）研究发生的改变，即从自然语言文本中提取结构化信息，并列出了他认为非常有趣的一些观点，他建议大家读一下这篇论文，肯定会受益匪浅。
重大但不惊人的进展
Grishman 在第 686 页提到：
经过 25 年的发展，其性能（F 分数）仅在标准事件分类基准上从 60 多分提高到 70年 多分。
换句话说，过去 25 年中 NLP 的所有一般性进展（机器学习、深度学习、语料库、计算能力的显著提高），加上 25 年以来许多非常聪明和敬业的研究人员对 IE 的专注研究，大大改善了 IE 的性能。但是，它们并没有因此我们在此期间在语音识别和机器翻译方面看到的“数量级”改进。
NLP 是一个广阔的领域，NLP 社区在过去 25 年中开发的一系列技术（包括深度学习 NLP）在NLP 的某些领域产生了巨大的影响，但在其他领域却没有这种影响。如果我们的目标是从整体上“破解” NLP，那我们需要继续探索新的想法，同时要摒弃最新的时髦想法（1994 年的流行语法，2019 年的深度学习）可以解决所有问题。
研究人员不喜欢复杂的评估
传统上，信息提取是根据精度、召回率和 F 值进行评估的。在第 685 页上，Grishman 描述了ACE 评估模型的命运，这是美国政府资助机构试图引入一种更实用的评估指标的尝试。但是除了向美国政府提交正式报告，研究人员一般拒绝使用 ACE。在学术论文中，他们坚持用召回、精度和 F 值。Grishman 猜测这是因为 ACE 很复杂，对研究人员来说不直观，也可能是因为“事件的原始值得分 低于 15％，在报告里使用这么低的分值让参与者感到尴尬”。
这使我想起了美国政府资助机构（如 DARPA）为了让研究人员使用更复杂、更现实的评估方法的尝试。他们试图让综述研究人员使用金字塔评估（https://www.aclweb.org/anthology/N04-1019/）。这是一种复杂的评估方法，需要人工注释测得摘要内容的质量（而不仅是表面形式）。我喜欢金字塔，但综述社区却不喜欢，我想是因为这种方法在 2019 年很少有人使用，而简单的ROUGE 指标仍然很强大。资助者试图让机器翻译研究人员评估机器翻译系统，以承担将机器翻译文本后期编辑为可接受的翻译所需的工作量（例如，基于任务的外部度量）。我认为 TER 和HTER 仍然有人在用，但是 BLEU 的使用多得多。
简而言之，即使是诸如 DARPA 之类的资助机构，也难以促使学术研究人员采用诸如 ACE、金字塔和 HTER 之类的评估技术，这些评估技术虽然非常复杂，通常需要人工，但得出的结果却可以更好地预测实际效用。在 NLP 中，人们偏向于简单、容易、便宜的评估方法，这些评估不需要人工注释，例如 BLEU、ROUGE 和 F 值，即使这些评估方法不如其他方法有意义。
语料库与规则
我观察到的另一个现象，是在没有语料库的情况下对使用规则与机器学习构建的系统进行比较，因此语料库构建必须包含在机器学习方法中。
Grishman 在第 683 页表示：
人工准备图案需要相当高的技巧和洞察力，但可能会产生相对干净的（高精度）系统。带注释的语料库的准备可能不需要那么多的技能，但需要更长的时间。
简而言之，编写规则会更快，并让导致系统更完善，但是它要求能够编写规则的高技能人才获得访问权限。为机器学习创建语料库需要更多的时间，并且会导致系统 bug 频出，但是我们可以用技术相对不那么熟练的人工来做到这件事。
NLG 是另一个语料库非常稀缺的领域。我通常认为在这样的环境下创建语料库是很愚蠢的，因为知道自己在做什么的人（像我一样）可以编写必要的规则，而不能为机器学习注释足够大的语料库。但是 Grishman 是正确的，在许多情况下，熟练的 NLP 劳动力是一种稀缺资源，但是不熟练的注释器很便宜，且可以通过 Mechanical Turk 或（如果需要更高质量的话）向低薪国家外包商业注释服务，从而大量使用。
本文还有许多其他有趣的见解和观察，我建议大家自己看一下！
论文链接：
https://www.cambridge.org/core/journals/natural-language-engineering/article/twentyfive-years-of-information-extraction/0E5BB0D6AE906BB3C25037E2D74CA8F3
原文链接：
https://ehudreiter.com/2020/01/02/25-years-of-information-extraction/
（*本文为AI科技大本营翻译文章，转载请微信联系1092722531）
◆
精彩推荐
◆
2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。
【Python Day——北京站】现已正式启动，「新春早鸟票」火热开抢！2020年，我们还将在全国多个城市举办巡回活动，敬请期待！
活动咨询，可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人，无法自动进入，可添加会议小助手微信：婷婷，151 0101 4297（电话同微信）
推荐阅读
集五福，我用Python
2019中国Python开发者调查报告
AI 没让人类失业，搞 AI 的人先失业了
为什么 k8s 在阿里能成功？| 问底中国 IT 技术演进
好扑科技技术副总裁戎朋：从海豚浏览器技术负责人到区块链，揭秘区块链技术之路
你点的每个“在看”，我都认真当成了AI
相关文章：
朴素、Select、Poll和Epoll网络编程模型实现和分析——Poll模型
在《朴素、Select、Poll和Epoll网络编程模型实现和分析——Select模型》中，我们分析了它只能支持1024个连接同时处理的原因。但是在有些需要同时处理更多连接的情况下，1024个连接往往是不够的，也就是不能够高并发。那么这个时候我们就可以采用…
flashcom中远程共享对象SharedObject的用法
觉得这篇文章比较好，转载回来。学习fcs也有差不多一个月了,感觉最有特色的东西还是SharedObject.SharedObject有不少东西,本地操作就不说了(相信很多人没接触fcs也用过);就说说远程共享对象吧.基本的应用流程是:my_nc new NetConnection(); my_nc.connect("rt…
Hive-1.2.0学习笔记（一）安装配置
鲁春利的工作笔记，好记性不如烂笔头下载hive：http://hive.apache.org/index.htmlHive是基于Hadoop的一个数据仓库工具，提供了SQL查询功能，能够将SQL语句解析成MapReduce任务对存储在HDFS上的数据进行处理。MySQ安装Hive有三种运行…
邮件安全隐患及其防范技术研究
邮件安全隐患及其防范技术研究<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />陈小兵【antian365.com】摘要电子邮件是Internet上使用最为频繁和广泛的服务，在给人们带来便利的同时，亦带来令人担忧的邮件…
必看！52篇深度强化学习收录论文汇总 | AAAI 2020
所有参与投票的 CSDN 用户都参加抽奖活动群内公布奖项，还有更多福利赠送来源 | 深度强化学习实验室（ID:Deep-RL）作者 | DeepRLAAAI 2020 共收到的有效论文投稿超过 8800 篇，其中 7737 篇论文进入评审环节，最终收录数量…
朴素、Select、Poll和Epoll网络编程模型实现和分析——Epoll模型
在阅读完《朴素、Select、Poll和Epoll网络编程模型实现和分析——Select模型》和《朴素、Select、Poll和Epoll网络编程模型实现和分析——Poll模型》两篇文章后，我们发现一个问题，不管select函数还是poll函数都不够智能，它们只能告诉我们成功…
Scala 深入浅出实战经典 第88讲：Scala中使用For表达式实现map、flatMap、filter
高级函数 map,flatMap,filter用for循环的实现。package com.dt.scala.forexpressionobject For_Advanced {def main(args: Array[String]) {}def map[A, B](list: List[A], f: A > B): List[B] for(element <- list) yield f(element)def flatMap[A, B](list: List[A], f…
抛弃Python，我们为什么用Go编写机器学习架构？
所有参与投票的 CSDN 用户都参加抽奖活动群内公布奖项，还有更多福利赠送作者 | Caleb Kaiser译者 | 弯月，编辑 | 郭芮来源 | CSDN（ID：CSDNnews）如今，众所周知Python是机器学习项目中最流行的语言。尽管R、C…
朴素、Select、Poll和Epoll网络编程模型实现和分析——模型比较
经过之前四篇博文的介绍，可以大致清楚各种模型的编程步骤。现在我们来回顾下各种模型（转载请指明出于breaksoftware的csdn博客） 模型编程步骤对比《朴素、Select、Poll和Epoll网络编程模型实现和分析——朴素模型》中介绍的是最基本的网络编程…
使用VM虚拟机的一点小技巧
今天想为朋友弄一个虚拟机系统文件，这样就可以直接拷贝过去，直接让他用了。哪成想电脑里的系统镜像文件不能用，也不知道是不是VM不支持，反正怎么着也引导不起来了。无奈只好用硬件光驱来装虚拟系统，把2003系统盘装入光…
翻译：AKKA笔记 - Actor消息 -1（二）
消息 我们只是让QuoteRequest到ActorRef去但是我们根本没见过消息类！ 它是这样的：（一个最佳实践是把你的消息类包装在一个完整的对象里以利于更好的组织） TeacherProtocol package me.rerun.akkanotes.messaging.protocolsobject …
远程安装oracle 10.2.1 for redhat 5.0 2.6.18-53.el5xen
远程安装oracle <?xml:namespace prefix st1 ns "urn:schemas-microsoft-com:office:smarttags" />10.2.1 for redhat 5.0 2.6.18-53.el5xen<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />今天有个朋友打电…
伯克利新无监督强化学习方法：减少混沌所产生的突现行为
作者 | Glen Berseth译者 | Arvin编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）【导读】所有生命有机体都在环境中占据一席之地，使它们在周围不断增加的熵中可以保持相对可预测性。例如，人类竭尽全力保护自己免受意外袭击--我们…
朴素、Select、Poll和Epoll网络编程模型实现和分析——Poll、Epoll模型处理长连接性能比较
在《朴素、Select、Poll和Epoll网络编程模型实现和分析——模型比较》一文中，我们分析了各种模型在处理短连接时的能力。本文我们将讨论处理长连接时各个模型的性能。（转载请指明出于breaksoftware的csdn博客） 我们可以想象下场景，…
Topcoder SRM 663 DIV 1
ABBADiv1 题意： 规定两种操作，一种是在字符串的末尾添加A，另一种是在末尾添加B然后反转字符串。现在给你一个起始串，一个终点串，然后问你是否能够通过以上两种操作，从起始串变为终点串。 题解： …
跨平台PHP调试器设计及使用方法——立项
作为一个闲不住且希望一直能挑战自己的人，我总是在琢磨能做点什么。自从今年初开始接触PHP，我也总想能在这个领域内产生点贡献。那能做点什么呢？我经常看到很多phper说自己设计了一个什么框架，或者说自己搭建了一个什么系统。虽然…
机器推理文本+视觉，跨模态预训练新进展
作者 | 李根、段楠、周明来源 | 微软研究院AI头条（ID:MSRAsia）【导读】机器推理要求利用已有的知识和推断技术对未见过的输入信息作出判断，在自然语言处理领域中非常重要。本文将介绍微软亚洲研究院在跨模态预训练领域的研究进展。近年来&…
[LeetCode]:94:Binary Tree Inorder Traversal
题目： Given a binary tree, return the inorder traversal of its nodes values. For example:Given binary tree {1,#,2,3}, 1\2/3return [1,3,2]. 代码： public class Solution {public static ArrayList<Integer> listResult new ArrayList&l…
腾讯 AI 2019这一年
所有参与投票的 CSDN 用户都参加抽奖活动群内公布奖项，还有更多福利赠送近日，腾讯AI实验室总结了 2019 年其取得重大进展的两大研究方向，推动实现的行业应用以及前沿研究探索方面的成果。一、两大难题攻坚：通用人工智能与数字人用…
跨平台PHP调试器设计及使用方法——探索和设计
在《跨平台PHP调试器设计及使用方法——立项》一文中，我确定了使用xdebug作为调试器插件部分的基础组件。xdebug提供了一个远程调试的功能（相关资料可以详见https://xdebug.org/docs/remote），我们这个项目便是基于这个功能实现的。…
Ubuntu下允许Root用户直接登录图形界面
ubuntu root是默认禁用了，不允许用root登陆，所以先要设置root密码。 执行：sudo passwd root 接着输入密码和root密码，重复密码。再重新启动就可以用root登陆。 另外，默认情况下是不允许用root帐号直接登陆图形界面的。…
携程App for Apple Watch探索
在Apple Watch发布之后，很多App都针对它设计了相应的版本。旅行作为与Apple Watch时间管理特性契合度较高的场景，同时携程旅行作为国内领先的OTA行业App，也成为了首批适配Apple Watch并荣登Apple官网和App Store推荐的应用之一。InfoQ就App f…
跨平台PHP调试器设计及使用方法——通信
首先引用《跨平台PHP调试器设计及使用方法——探索和设计》中的结构图（转载请指明出于breaksoftware的csdn博客） 本文要介绍的是我们逻辑和pydbgp通信的实现（图中红框内内容）。 设计通信之前，我需要先设计一种通信协议…
MVP模式的相关知识
MVP 是从经典的模式MVC演变而来，它们的基本思想有相通的地方：Controller/Presenter负责逻辑的处理，Model提供数据，View负责显示。作为一种新的模式，MVP与MVC有着一个重大的区别：在MVP中View并不直接使用Mod…
“数学不行，还能干点啥？”面试官+CTO：干啥都费劲！
关于数学与程序员的“暧昧”关系，先看看网友的看法：同时编程圈也流传着一个段子：一流程序员靠数学，二流程序员靠算法，末端程序员靠百度，低端看高端就是黑魔法。想一想，我们日常学习、求职、工作…
CentOS7 yum 源的配置与使用
YUM：Yellowdog Updater Modified Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖…
跨平台PHP调试器设计及使用方法——协议解析
在《跨平台PHP调试器设计及使用方法——探索和设计》一文中，我介绍了将使用pydbgp作为和Xdebug的通信库，并让pydbgp以（孙）子进程的方式存在。《跨平台PHP调试器设计及使用方法——通信》解决了和pydbgp通信的问题，本文…
测试客户端发图图
转载于:https://blog.51cto.com/ericsong/116942
搜狐、美团、小米都在用的Apache Doris有什么好？ | BDTC 2019
【导读】12 月 5-7 日，由中国计算机学会主办，CCF 大数据专家委员会承办，CSDN、中科天玑协办的中国大数据技术大会（BDTC 2019）在北京长城饭店隆重举行。100 顶尖技术专家、1000 大数据从业者齐聚于此，以“大…
cacti邮件告警设置
功能说明对指定流量图形（指定接口）设置最高或最低流量阀值，当流量出现异常偏高或偏低触发阀值，系统自动将异常信息以邮件形式通知指定收件人。如果收件人邮箱是139邮箱，还可以增设短信通知功能。设置前准备设置该功能之…