当前位置：首页 > 编程日记 > 正文

百度ERNIE登顶GLUE榜单，得分首破90大关

编程日记 2024-12-13 13:30:00

出品 | AI科技大本营（ID:rgznai100）

12月10日，百度ERNIE在自然语言处理领域权威数据集GLUE中登顶榜首，以9个任务平均得分首次突破90大关刷新该榜单历史，其表现超越微软MT-DNN-SMART, 谷歌T5、ALBERT等一众顶级预训练模型。

2018年底以来，以BERT为代表的预训练模型大幅提升了自然语言处理任务的基准效果，取得了显著技术突破，基于大规模数据的预训练技术在自然语言处理领域变得至关重要。众AI公司纷纷发力预训练领域，相继发布了XLNet、RoBERTa、ALBERT、T5等预训练模型。百度也先后发布了ERNIE 1.0、ERNIE 2.0，在16个中英数据集上取得了当时的SOTA。

从GLUE排行榜上来看，BERT使用预训练加微调的方式，相对过往的基线成绩大幅提升各任务的效果，首次突破了80大关。XLNet、RoBERTa、T5、MT-DNN-SMART等模型则分布在88-89分范围，人类水平则是87.1。

百度ERNIE此次登顶，并在CoLA、SST-2、QQP、WNLI等数据集上达到SOTA。相对BERT的80.5的成绩，提升近10个点，取得了显著的效果突破。

百度ERNIE 2.0原理示意图

ERNIE 2.0 持续学习的语义理解框架, 支持增量引入不同角度的自定义预训练任务，通过多任务学习对模型进行训练更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。

此次登顶的模型主要基于ERNIE 2.0持续学习语义理解框架下的系列优化。引入更多新预训练任务, 例如引入基于互信息的动态边界掩码算法。对预训练数据和模型结构也做了精细化调整。

同时，百度ERNIE 2.0的论文（https://arxiv.org/abs/1907.12412）已被国际人工智能顶级学术会议AAAI-2020收录，AAAI-2020将于2020年2月7日-12日在美国纽约举行, 届时百度的技术团队将会进一步展示近期的技术成果。

据介绍，ERNIE预训练技术已广泛地应用于公司内外多个产品和技术场景，在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用，大幅提升了产品的技术效果和用户体验，逐步赋能各行各业。

（*本文为AI科技大本营整理文章，转载请微信联系 1092722531）

◆

精彩公开课

◆

推荐阅读

数学学渣必备！拍照上传，分步求解，微软解题神器拯救你
蚂蚁金服提新概率图模型GLN，正确率提升8.2%，具备可解释性 | NeurIPS 2019
后深度学习时代的一大研究热点？论因果关系及其构建思路
LatentFusion：华盛顿大学与英伟达联合提出6D姿态估计新方法
那些打着AI万金油旗号的产品欺骗大众，如何识别?
扛住100亿次请求——如何做一个“有把握”的春晚红包系统
「刷新 CTO」微软与 CSDN 的 CTO 转型思想汇
华为鸿蒙 OS 2020 计划曝光！手机仍然优先用安卓
用象棋的思维趣说 IT 人的职业发展和钱途
你点的每个“在看”，我都认真当成了AI

https://www.dkcj.cn/info/31651.html

数学学渣必备！拍照上传，分步求解，微软解题神器拯救你

蚂蚁金服提新概率图模型GLN，正确率提升8.2%，具备可解释性 | NeurIPS 2019

后深度学习时代的一大研究热点？论因果关系及其构建思路

LatentFusion：华盛顿大学与英伟达联合提出6D姿态估计新方法

那些打着AI万金油旗号的产品欺骗大众，如何识别?

扛住100亿次请求——如何做一个“有把握”的春晚红包系统

「刷新 CTO」微软与 CSDN 的 CTO 转型思想汇

华为鸿蒙 OS 2020 计划曝光！手机仍然优先用安卓

用象棋的思维趣说 IT 人的职业发展和钱途

相关文章：