当前位置: 首页 > 编程日记 > 正文

李沐团队新作Gluon,复现CV经典模型到BERT,简单好用 | 强烈推荐

640?wx_fmt=jpeg

参加 2019 Python开发者日,请扫码咨询 ↑↑↑


责编 | Jane

出品 | AI科技大本营(公众号id:rgznai100)


【导语】上周,李沐老师公布 GluonNLP0.6 版本,借助 Apache MXNet,大家可以尝试在 Gluon 中复现 BERT 了。TensorFlow 和 PyTorch 两大框架一直是大多数人关注的焦点,即使 MXNet 在 2017 年加入动态图接口 Gluon 后,也一直没有成为大家的首选,而这次把“可复现的 BERT 模型带到我们身边”的 GluonNLP0.6 是否好用?这个周末,就和营长一起尝试下 MXNet 框架的 Gluon,除了 TF 和 PyTorch,它值得你一试。


前言


据官方介绍,MXNet 是一款轻量、灵活的深度学习框架。MXNet 0.11 版本发布时加入动态图接口Gluon,李沐老师称其为“可以一次性解决产品和研究的需求”。从特点分析,Gluon 可以同时支持静态图和动态图,不仅学习了 Keras、Chainer 和 PyTorch 的优点,接口更简单,支持动态图,并且比静态图更灵活、简单。


640?wx_fmt=png

(Gluon 发布时,特征总结图)       


推荐理由


也许现在大家在研究和工作中,仍然主要使用 TF 和 PyTorch,但是经过营长尝试,Gluon 还是非常值得大家学习的,尤其是对于初学者,非常容易上手!对于研究者来说,Gluon已经支持很多经典、重要的模型,在加上 其教程非常易读,所以在大家的研究中也值得一试。此外,Gluon 的部署也很容易,如果模型已经达到你的需求,也可以尝试用于业务需求中。


边练边学


从 2017 年 7 月 Gluon 发布到现在,Gluon 不断增加、完善各类模型组成的 CV 和 NLP 工具包。截止目前,GluonCV 工具包已经更新到 v0.3,GluonNLP 工具包已经更新到 v0.6,也是刚刚发布的这个版本,已经复现 BERT。接下来,营长将与大家分享一下自己在 Gluon 上的初体验,有营长成功迈出的第一步,相信大家也可以用得顺利,玩得愉快。


一、安装 MXNet


1、先从安装 MXNet 开始,安装方法非常简单。一句 pip 命令行就可以搞定。


640?wx_fmt=png       

2、练习  MXNet 中内置的 NDArray,支持了很多函数和功能。


640?wx_fmt=jpeg      

640?wx_fmt=png       

就像学习 Numpy 一样,要想深度掌握 NDArray,还需要大家多花一些时间去学习,发现他们之间的区别。

安装方法与详细教程:

https://gluon.mxnet.io/


大家都知道李沐老师在 UC 开了新课程,还有配套中文教材,理论与动手结合,简直就是小白华丽变身为专业的首选。

https://zh.d2l.ai


接下来营长还继续尝试了 Gluon 的 CV 和 NLP 两个工具包。经过团队很多人的努力与贡献,工具包在不断丰富和完善。真的是要感谢李沐老师和其整个团队~


团队的主要 contributors:

640?wx_fmt=png

(受篇幅大小局限,截图部分只显示了 CV Top3,NLP Top6)

全部 contributors:

https://github.com/dmlc/gluon-cv/graphs/contributors

https://github.com/dmlc/gluon-nlp/graphs/contributors

内容贡献:

李沐,最近在知乎上为大家介绍了可复现的 BERT 的 GluonNLP 0.6

https://zhuanlan.zhihu.com/p/59809338

解浚源(Eric),在其知乎文章中为大家详细介绍了 GluonCV0.3

https://zhuanlan.zhihu.com/p/46946101


二、初尝 GluonCV--GluonCV 0.3:超越经典


暂不说  CV 工具包的功能、性能等方面,使用简单是小白营长的第一感受!通过文档教程,分分钟上手。目前最新的 v0.3 版本已经成为“超越经典”的 CV库,不仅复现,还能超越原作,甚至对一些模型的改动结果在提升准确度的同时,速度也得到了很大的提升。改版了 Model Zoo 页面,交互式地对比各模型预测精度与性能,改进模型部署能力。


1、可以支持的模型与应用主要有:


640?wx_fmt=png

上 GluonCV 文档:

https://gluon-cv.mxnet.io/index.html


2、新交互式 Model Zoo 页面,在页面中可以根据你查看的标准进行放大或缩小:


640?wx_fmt=png      

640?wx_fmt=png       

3、模型与性能上,已经增加或改进的有:


  • 新模型:YOLO v3、Mask-RCNN、DeepLabV3、

  • 新性能:性能优化的模型有 Faster-RCNN、图像识别的 ResNet-50 和 ResNet-101、语义分割任务的 PSPNet 预训练模型,


640?wx_fmt=png      (来源:https://zhuanlan.zhihu.com/p/46946101


  • 新应用:行人重识别、GAN。

  • 新功能:部署。

除了满足研究的需求,在项目中有需求的小伙伴们一样可以使用。通过 GluonCV 中提供的功能,你可以快速上线,如果这些模型的效果已经达到了业务要求,你还可以省去训练步骤直接应用。


介绍了这么多,是不是真的好使?营长依旧为大家亲测~同样一行代码就让你轻松上手 GluonCV。


640?wx_fmt=png       

安装完以后,接下来也不用担心会不知所措。用 Demo 趁热打铁,而且还很简单,不信你可以往下看~


640?wx_fmt=png

     

(模型准备上线中,营长已下线smiley_4.png


可能接下来都不是营长写文章的时间,而是写代码的时间了,别阻止营长,简单到飞起,根本停不下来~


640?wx_fmt=png       

而且各位大佬们简直太 nice 了,完整代码都给准备好了,你还不学吗?2_02.png


640?wx_fmt=png      


在 Tutorials 页面,还有更多哦~


640?wx_fmt=png       

三、下一步——GluonNLP 0.6:送你复现的 BERT


640?wx_fmt=png       (来源:李沐老师的知乎)


据李沐老师在文章中的介绍:


这次的复现,团体从头开始对 BERT 进行了预训练,训练中的语料库使用了包含 20 亿词(除去图片和表格)的英文维基百科,以及去重后包含 5 亿 7950 万词汇的书籍。在混合精度训练以及梯度累加的条件下,8 块 Volta V100 GPU 使用了 6.5 天将 BERT 基本版模型训练好,并在验证集上得到了如下结果:


640?wx_fmt=png      

(来源:李沐老师的知乎)


看了更多 GluonNLP 复现了的结果,是不是忍不住要去调戏一下 GluonNLP,营长也要去安装一下了。

教程请戳下面

https://gluon-nlp.mxnet.io/install.html

发布文档:

https://github.com/dmlc/gluon-nlp/releases


除了要安装 GluonNLP,还需要安装 Master Branch。别说了,营长安装好了,还得继续研究,你要不要加入?smiley_44.png


640?wx_fmt=jpeg


后续还需要大家进行深度研究与使用,里面除了详细、易读的教程外,还有每个 API Reference,满足大家对源码研究与使用的需求~


640?wx_fmt=png       

就像在文章开头说的,也许大家现在在学习研究和工作中可能还是以 TF 和 PyTorch 为主,但是想要换个口味,小白快速上手,Gluon 是一个好选择!也欢迎大家加入我们的讨论,与大家一起交流、反馈使用感受!



--【完】--


(本文为 AI科技大本营原创文章,转载请微信联系 1092722531)

敲黑板划重点!7 折优惠限时抢购中,3 月 31 日前可享受优惠价 499 ,欢迎点击阅读原文报名参加。更多详细信息请咨询13581782348(微信同号)。

640?wx_fmt=jpeg

你也可以点击阅读原文,查看大会详情。

推荐阅读:

  • 顶会论文9篇,又斩获百度奖学金!哈工大NLP“新生代”正崭露头角

  • Google用更少标签生成图像,还提出一个用于训练评估GAN的库

  • 如何用TF Object Detection API训练交通信号灯检测神经网络?

  • Google首页玩起小游戏,AI作曲让你变身巴赫

  • 特斯拉起诉小鹏汽车员工窃取商业机密,何小鹏回应

  • 提升效率,这十个Pandas技巧必不可少!

  • 超常用的Python代码片段 | 备忘单

  • 工作量不断增加的微软Azure,正缩小与亚马逊AWS的差距

  • 理工男的网红生意, 6000万月活50万条日更的背后, 内容链还能这样操作?

  • 曝光!月薪 5 万的程序员面试题:73% 人都做错,你敢试吗?

640?wx_fmt=png

相关文章:

中国科学技术大学 中科大(USTC)UBUNTU源Linux镜像站IPV4/IPV6

Ubuntu下的使用方法:使用如下命令:sudo gedit /etc/apt/sources.list请编辑/etc/apt/sources.list,用下面的内容替换: deb http://mirrors.ustc.edu.cn/ubuntu/ natty main restricted universe multiverse deb http://mirrors.ustc.edu.cn/…

深度分析蔡徐坤的百万流量数据,揭底哪些是假的!

参加 2019 Python开发者日,请扫码咨询 ↑↑↑作者 | Alfred,毕业于暨南大学,数据挖掘算法工程师,主要研究领域为数据挖掘、机器学习来源 | Alfred数据室(公众号id:Alfred_Lab)责编 | Jane前段时…

【Linux】延时函数sleep、usleep、nanosleep、select、pselect的比较

1、简介 sleep()-------以秒为单位 #include<unistd.h> unsigned int sleep(unsigned int seconds); return&#xff1a;若进程暂停到参数seconds 所指定的时间&#xff0c;成功则返回0&#xff0c;若有信号中断则返回剩余秒数。 在linux中&#xff0c;sleep是通过nanos…

特斯拉解锁对汽车电池容量的软件限制,以帮助用户逃离飓风危险

为了对抗飓风&#xff0c;为用户提高逃生的可能性&#xff0c;特斯拉公司在此特殊情况下免费释放了电池容量限制。 据悉&#xff0c;在伊斯玛飓风抵达佛罗里达州之前&#xff0c;特斯拉为佛罗里达特斯拉的电动汽车用户更新解锁了其60kwh型号下电动汽车被封住的电池容量&#x…

nginx安装 问题 1

./configure: error: the HTTP rewrite module requires the PCRE library 有时候&#xff0c;我们需要单独安装nginx&#xff0c;来处理大量的下载请求。单独在Centos5安装nginx遇到的rewrite和HTTP cache错误解决办法&#xff1a;wget http://nginx.org/download/nginx-0.8.3…

【Qt】使用QPalette设置按钮颜色时,不生效

1、问题描述 在练习QStylePlugin示例时&#xff0c;通过插件将按钮颜色设置为红色&#xff0c;但是没有效果&#xff0c;原因是&#xff1a; 使用QPalette设置按钮颜色时&#xff0c;不生效&#xff0c;代码如下 QPalette.setBrush(QPalette::Button, Qt::red)2、问题分析 Q…

Swagger 生成 PHP restful API 接口文档

需求和背景 需求: 为客户端同事写接口文档的各位后端同学,已经在各种场合回忆了使用自动化文档工具前手写文档的血泪史.我的故事却又不同,因为首先来说,我在公司是 Android 组负责人,属于上述血泪史中催死人不偿命的客户端阵营.但血泪史却是相通的,没有自动化文档的日子,对接口…

FPGA技术的未来发展:谁与AI平分秋色

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | 老石来源 | 老石谈芯&#xff08;公众号id&#xff1a;gh_5ce1d0cb1568&#xff09;责编 | Jane任何科学技术的发展和进步都离不开两个主要的推动力量&#xff0c;一个是相关领域各大公司的研发&#xff0c;另一个…

一体化设计让容灾变简单

容灾很难实现吗&#xff1f;容灾不仅包括技术方面的问题&#xff0c;而且涉及数据保护策略、投入产出比等方面的问题。从这个角度讲&#xff0c;对于大多数的中小型用户来说&#xff0c;容灾的实施确实比较困难。不过&#xff0c;爱数软件副总裁李基亮认为&#xff0c;容灾的实…

深度研究自然梯度优化,从入门到放弃 | Deep Reading

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | Cold Marie Wild译者 | 刘畅责编 | Jane出品 | AI科技大本营&#xff08;公众号id&#xff1a;rgznai100&#xff09;【导语】根据自然梯度的支持者提出一种建议&#xff1a;我们不应该根据参数空间中的距离来定义…

【Qt】QtCreator中关于Style Plugin Example没有效果的修改方法

1、问题描述 在QtCreator练习QStylePlugin的例子时,没有效果,原因是QPalette使用不当造成。 详见:https://blog.csdn.net/u010168781/article/details/88250451 2、解决方法 解决方法很简单,我们只是为了演示QStylePlugin的效果,然而QPushButton不能通过QPalette来改变…

最大公约数和最小公倍数的欧几里得算法

最大公约数的算法竟然如此简单&#xff0c;不说了&#xff0c;见代码 #include <stdio.h> int gcd(int a, int b) { if(b 0) return a; return gcd(b, a%b); } 简化后如下&#xff1a; int gcd(int a, int b) { return (b0 ? a: gcd(b, a%b)); } 而最小公倍数的也就为&a…

如何查看CISCO FWSM上ACL分区的空闲资源

在CISCO防火墙模块上有的时候在做策略NAT的时候会碰到如下的错误信息&#xff1a;输入:nat (inside) 1 access-list XYZ错误提示:ERROR: Unable to add Policy Rulesaccess-list XYZ 可以在配置的ACL中显示尤其在添加一些基于策略的NAT的时候&#xff0c;因为其可能会产生大量的…

强烈推荐一款Python可视化神器!

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑翻译 | Lemon来源 | Plotly出品 | Python数据之道 &#xff08;ID&#xff1a;PyDataRoad&#xff09;Plotly Express 入门之路Plotly Express 是一个新的高级 Python 可视化库&#xff1a;它是 Plotly.py 的高级封装&am…

【Qt】QIcon::fromTheme:从系统主题中获取图标

1、简介 函数原型 QIcon QIcon::fromTheme(const QString &name) QIcon QIcon::fromTheme(const QString &name, const QIcon &fallback)上述两个函数可以从系统主题中获取图标&#xff0c;后者可以在主题中找不到图标时&#xff0c;再使用自己定义的图标&#x…

检验EIGRP

路由器必须与其邻居建立邻接关系&#xff0c;EIGRP 才能发送或接收更新。EIGRP 路由器通过与相邻路由器交换 EIGRP Hello 数据包来建立邻接关系。 使用 show ip eigrp neighbors 命令来查看邻居表并检验 EIGRP 是否已与其邻居建立邻接关系。对于每台路由器&#xff0c;您应该能…

【Qt】通过QtCreator源码学习Qt(十):多国语言支持

1、获取系统支持的语言 QStringList uiLanguages;uiLanguages = QLocale::system().uiLanguages();2、从设置中获取想要显示的语言,尝试覆盖默认的 QString overrideLanguage = settings->value(QLatin1String("General/OverrideLanguage")).toString();if (!ove…

吴恩达最新斯坦福课程《深度学习》全部视频已送达,请签收!

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑责编 | Jane出品 | AI科技大本营&#xff08;公众号id&#xff1a;rgznai100&#xff09;【导语】2018 年秋季&#xff0c;吴恩达教授在斯坦福新开了一门 CS230《深度学习》课程&#xff0c;近期&#xff0c;该课程的视频…

mysql 5.7 修改root 密码

前言 MySQL5.7为了加强安全性&#xff0c;yum 安装后为root用户随机生成了一个密码&#xff0c;同时修改root密码上&#xff0c;也增加了一些校验&#xff0c;会报 Your password does not satisfy the current policy requirements 错误。 安装 rpm -ivh http://repo.mysql.co…

2-7-PatchesAdministration

/cdrom/sol_10_305_x86/s2/Solaris_10/Product 下是包含系统自带的补丁包 该目录下的包需要复制到/var/spool/pkg目录下再使用pkgadd才可以被安装cp -r SUNWi15cs /var/spool/pkgpkgadd SUNWi15cs2-7系统补丁管理补丁类型&#xff1a;standard patchesrecommended patchesfirmw…

【Qt】通过QtCreator源码学习Qt(十一):Utils::Icon,根据不同主题、不同状态变换图标

1、简介 在QtCreator中Utils::Icon封装的图标可以根据主题变换,还可以设置不同状态下的图标的颜色。不同状态下的颜色变换,由QIcon::addPixmap函数实现: void QIcon::addPixmap(const QPixmap &pixmap, Mode mode = Normal, State state = Off)2、源码分析 src/libs/…

Python_赋值和深浅copy

Python中赋值和深浅copy存储变化     在刚学python的过程中&#xff0c;新手会对python中赋值、深浅copy的结果感到丈二和尚。经过多次在网上查找这几个过程的解释说明以及实现操作观察&#xff0c;初步对这几个过程有了浅显的认识。以下内容仅是我在学习过程中遇到的问题&…

萌新养成 | AI科技大本营实习生招募计划

金三银四跳槽季这个时候需要做好准备的可不仅仅只有在职或者离职的萝卜尚未毕业的萌新也需要提早做准备了毕竟把自己修炼成一个优秀的萝卜也不是一件容易的事所以&#xff0c;放下你找对象、刷副本、世界游的想法加入我们为你量身定制的人才培养计划加入营长的团队&#xff0c;…

踏上云旅程 存储准备好了吗

在云计算的概念刚出现时&#xff0c;人们习惯将原始数据存在本地&#xff0c;而将备份数据放到云中。随着云计算技术和应用逐渐走向成熟&#xff0c;人们可能会把原始数据存在云中&#xff0c;而把备份数据放在本地。全球存储网络工业协会&#xff08;SNIA&#xff09;主席Wayn…

UCloud与NTT达成合作,提供可靠跨地域混合云服务

近日&#xff0c;UCloud宣布与NTT Communications东亚地区总部NTT Com Asia (以下简称“NTT Com Asia”) 达成合作伙伴协议。双方将发挥各自优势&#xff0c;通过UCloud云服务与NTT Communications企业级 Enterprise Cloud 服务互联互通&#xff0c;为国内企业以及进入中国的跨…

ICCV 2019论文投稿数破纪录,中科院、清华名列前茅,苹果垫底

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑整理 | 琥珀出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;昨日&#xff0c;作为计算机视觉领域里顶级会议这一的 International Conference on Computer Vision &#xff08;ICCV&#xff09;公布了 2019 年…

【linux】在CentOS7上更改端口号时报错:Job for sshd.service failed because the control process exited with error

1、问题描述 在在CentOS7上更改端口号时报错&#xff1a; Job for sshd.service failed because the control process exited with error code.See “systemctl status sshd.service” and “journalctl -xe” for details. 2、修改ssh端口号的方法 修改&#xff1a;$ sudo …

硅谷风投押注计算机网络安全市场

今天&#xff0c;新浪转载了一篇外媒报道&#xff0c;称随着一系列安全事件的集中爆发&#xff0c;风险投资家们业从计算机安全领域看到了机会&#xff0c;希望加大对这一市场的投资。 文章最后指未来几年可能上市的公司包括&#xff1a;梭子鱼、Proofpoint、Palo Alto Network…

Tensorflow框架是如何支持分布式训练的?

参加 2019 Python开发者日&#xff0c;请扫码咨询 ↑↑↑作者 | 杨旭东转载自知乎《算法工程师的自我修养》专栏Methods that scale with computation are the future of AI. —Rich Sutton, 强化学习之父大数据时代的互联网应用产生了大量的数据&#xff0c;这些数据就好比是石…

【linux】SELinux工具:semanage的安装和使用

1、安装 在ubuntu14.04上安装 sudo apt-get install policycoreutils在CentOS7上安装 sudo yum -y install policycoreutils-python2、semanage命令行参数 $ semanage --help semanage用于配置SELinux策略的某些元素&#xff0c;而不需要对策略源进行修改或重新编译。 位置…