百度发布ERNIE 2.0，性能超BERT、XLNet
作者 | Khari Johnson
译者 | 赵雪
编辑 | 夕颜
出品 | AI科技大本营（ID: rgznai100）
中国科技巨头百度于今日提出了 ERNIE 2.0——一个中英双语的会话式人工智能模型。ERNIE 2.0 在语言理解基准上的表现超过了谷歌的 BERT 和 XLNet，在 9 个国内的自然语言任务中也取得了傲人的成绩。
ERNIE 代表的是知识增强的语义表示模型，正如谷歌的 BERT 一样， ERNIE 2.0 依靠 transformer encoder 和 BookCorpus 的数据来进行训练。
ERNIE 在一些像影评的情感分析 (SST-2) 或者推测句子含义 (MNLI)的任务中表现比其他一流的 NLP 模型都出色。
ERNIE 2.0 是基于今年年初百度发布的汉语语言理解模型 ERNIE一代而建立的。一代和二代在多变的语言理解基准上表现出较好的性能。
ERNIE 2.0 采用了多任务学习、一系列诸如缩略语预测（由于缩略语经常包含一些特定的名词）的预训练任务、学习句子间关系和一些语义理解任务。
所有的预训练任务采用自监督或者弱监督信号，无需人类的标记便能从海量数据中得到这些信号。
它还依赖某种被称之为连续预处理的东西。
据周一发表在 arXiv 上的论文写道，“连续预处理的过程包括两步。第一，我们通过大型语料库或者手头的先验知识来进行无监督的预处理任务。第二，我们通过多任务学习逐步更新了 ERNIE 模型。
本月早些时候，百度在其年度人工智能开发者大会上宣布，其阿波罗自主车辆系统已经在中国的城市中行驶了 100 多万英里，并与英特尔分享了在 Nervana 神经网络项目上合作的计划。
为了实现两年前提出的让所有人都能使用 Duer 对话平台的目标，百度还宣布 Duer 现在为 4 亿台设备提供语音命令服务，而一年前这个数量仅为 1 亿台。
原文链接：
https://venturebeat.com/2019/07/30/baidu-unveils-ernie-2-0-natural-language-framework-in-chinese-and-english/
相关文章：
php中mkdir()函数的权限问题
为什么80%的码农都做不了架构师？>>> 遇到个问题 某个定时job用root用户mkdir(./test/,0777)新建了目录，指定了权限是0777，结果获得的是0755, 而web上用www用户也在这目录创建目录和文件，结果报错了，一开始…
设计模式之策略模式(Strategy)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
PreparedStatement
该 PreparedStatement接口继承Statement，并与之在两方面有所不同： PreparedStatement 实例包含已编译的 SQL 语句。这就是使语句“准备好”。包含于 PreparedStatement 对象中的 SQL 语句可具有一个或多个 IN 参数。IN参数的值在 SQL 语句创建时未被指…
百度ERNIE 2.0发布！16项中英文任务表现超越BERT和XLNet
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）导读：2019 年 3 月，百度正式发布 NLP 模型 ERNIE，其在中文任务中全面超越 BERT 一度引发业界广泛关注和探讨。今天，百度发布了 ERNIE 2.0，指出其在…
WindowsServer2012史记7-茴香豆的五种写法和四种”显示计算机”的方法
消失的"计算机"？【这周九叔工作比较忙，还有其他琐事缠身，因此SystemCenter2012SP1系列的发布稍慢，抱歉了各位。】众所周知，WindowsServer2012和Windows8一样，默认桌面上是没有"计算机"…
设计模式之状态模式(State)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
CYQ学习主要摘要4
http://www.cnblogs.com/cyq1162/archive/2010/11/03/1867642.html Xml的处理 http://www.cnblogs.com/cyq1162/archive/2010/11/23/1885299.html 3.5版本 http://www.cnblogs.com/cyq1162/archive/2010/12/27/1918317.html 无线分级 http://www.cnblogs.com/cyq1162/archive/2…
知识图谱、深度学习、AutoML，推荐系统与新技术结合将碰撞出怎样的火花？
近日，来自意大利米兰理工大学 Maurizio 团队发表的一篇极具批判性的文章火了。这篇文章剑指推荐系统领域的其他数十篇论文，并通过多项试验证明这些论文中基于深度学习的推荐算法大部分都存在不同程度的数据集缺失和源码缺失的问题，导致根本无…
python-range用法
2019独角兽企业重金招聘Python工程师标准>>> 详细记录python的range()函数用法 转载于:https://my.oschina.net/lxwgmail/blog/135228
设计模式之观察者模式(Observer)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
中科院、百度研究院等联合提出UGAN，生成图片难以溯源
作者 | 中国科学院、北京航空航天大学、百度研究院团队译者 | 凯隐编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）导读：生成对抗网络（GAN）是近年大热的深度学习模型，中国科学院相关团队注意到，…
搜索引擎的时效性需求满足
“全、准、快、新”是搜索引擎的四大评价指标，其中的“新”指代的就是时效性。随着互联网的发展，网民对信息获取的时效性要求越来越高。同时越来越多的网民更多的参与到创造互联网内容中去，互联网上的新信息也在迅速的膨胀。这都给搜索引擎时…
如何卸载sql2008，完全清除
1.先把SQL Server卸载，再把安装时产生的“Microsoft SQL Server”文件夹删掉,在运行注册表,把HKEY_CURRENT_USER\Software\Microsoft\Microsoft SQLServer，HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Microsoft SQL Server全部删掉，(注意要把Mic…
别再说学不会：超棒的Numpy可视化学习教程来了
作者 | Jay Alammar译者 | 苏南下来源 | 机器会学ML（ID：AI_Learning007）导读：学习 Python，尤其是基于 Python 的学习机器学习算法，最基础的 NumPy 用法必须得熟悉。网上这方面的教程不少，但大多…
设计模式之备忘录模式(Memento)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
型网站的架构设计问题----大型高并发高负载网站的系统架构
随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等等方面都提出了更高的要求…… 本文中，我想通过几个国外大型IT企业及网站…
java之php、Android、JAVA、C# 3DES加密解密
异常如下1.javax.crypto.BadPaddingException: Given final block not properly padded1）要确认下是否加密和解密都是使用相同的填充算法（也就是说，是否都是使用PKCS5Padding）2）确认下你要解密的字节数组是否正确。jav…
设计模式之中介者模式(Mediator)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
谷歌引入自动网络设计，高效解决大规模深度推荐模型的特征嵌入问题
来源 | 深度传送门（ID:gh_5faae7b50fc5）导读：本文主要介绍Google在大规模深度推荐模型上关于特征嵌入的最新论文。 一、背景大部分的深度学习模型主要包含如下的两大模块：输入模块以及表示学习模块。自从NAS[1]的出现以来…
什么是POM maven
POM是项目对象模型(Project Object Model)的缩写，下面援引一下百度百科中对于POM的解释 定义 Maven是以项目为中心的设计。POM是Maven对一个单一项目的描述。没有POM的话，Maven是毫无用处的——POM是Maven的核心。是POM实现的并驱动了这种以模型来描述的…
新的Mac下如何配置开发者账号信息
1：把p12文件下载来，打开，添加到钥匙串 2：在xcode中的Organizer中的 Provisioning Profiles项中，点击 “New”， 添加账号信息，从网络获取相关文件。 转载于:https://www.cnblogs.com/willbin/arc…
5G+AI重新定义生老病死？
作者 | 胡巍巍来源 | CSDN（ID：CSDNnews）5G时代，我们的生老病死，或将被重新定义。5G手术，让生命不再受制于距离海南的神经外科专家凌至培，使用5G技术，跨越南北为一位北京的患者&#…
设计模式之命令模式(Command)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
QTP的那些事---页面弹出框的处理，页面等待加载的处理
处理方法：先判断父类对象是否存在，如果存在，判断相关的static文本对象是否存在，如果存在，则点击弹出框中的按钮即可； 例如如下的代码： 设置循环判断dialog对象是否存在，如果存在&…
如何衡量一个项目的交付质量？？？
昨天与部门开会讨论项目的完整规范交付流程，参会的涉及到项目相关的所有人员，总结一下供大家讨论交流： 1、小插曲：我们把客户的干系人、自己的干系人对项目的影响做了一个排名并打分，结果很有意思：客户的领…
华人“霸榜”ACL最佳长短论文、杰出论文一作，华为、南理工等获奖
作者 | 夕颜、一一出品 | AI科技大本营（ID:rgznai100）导读：7 月 31 日晚，自然语言处理领域最大顶会 ACL 2019 在佛罗伦萨进行到了第四天（7 月 29 日-8 月 1 日），当天，组委会最终从提…
设计模式之访问者模式(Visitor)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…
关闭Windows 8的metro UI的方法汇总
http://www.ssdax.com/570.html 上面就是windows8新出现的Metro UI，点击开始菜单就会出现，取代了windows长久以来的开始菜单，有了非常大的突破 不过我发现很多人都在找怎么关闭windows8 的Metro UI，下面介绍两个如何关闭Metro的方…
coredata Lightweight Migration 心得
关于coredata 网上的相关资料比较少，大部分是基本用法。于是便找到苹果官方文档进行深入学习。 分享一下心得，如果用了coredata 必须懂得 coredata Migration，否则app版本更新 core data model schema 变化很大可能导致持久化coredata 出错&a…
设计模式之职责链模式(Chain of Responsibility)摘录
23种GOF设计模式一般分为三大类：创建型模式、结构型模式、行为模式。 创建型模式抽象了实例化过程，它们帮助一个系统独立于如何创建、组合和表示它的那些对象。一个类创建型模式使用继承改变被实例化的类，而一个对象创建型模式将实例化委托给…