当前位置：首页 > 编程日记 > 正文

2018热点总结：BERT最热，GANs最活跃，每20分钟就有一篇论文...

编程日记 2025-01-17 23:50:00

640?wx_fmt=jpeg

作者 | Ross Taylor

译者 | linstancy

整理 | Jane

出品 | AI科技大本营

【导读】本文的作者 Ross Taylor 和 Robert Stojnic 在今年一起启动了一个名为“Paper with Code”的项目，将 AI 领域的一些研究论文和论文开源代码结合展示，方便大家学习与研究。在推进这个项目的同时，通过分析网站的数据他们也有一些意外和有趣的收获，用更综合、全面的视野总结了下半年的发展现状与热点，哪些正在成为流行趋势、哪些被广泛使用。

在这篇文章中，作者为大家总结了 2018 年下半年机器学习领域被密切关注的成果，快来看看，这些你是不是都知道呢？

最流行的模型

BERT, vid2vid 和 graph_nets

10月，Google AI 团队提出了一种深度双向 Transformer 模型 (BERT)，并发表了相关的论文。该模型在 11 个NLP 任务上取得了目前为止最佳的性能，Stanford Question Answering (SQuAD) 数据集也引起了学术界的强烈关注。随后，Google AI 进一步开源了项目代码，并在当月获得了最多 Stars 数量，可见其热门程度。

论文链接：https://arxiv.org/abs/1810.04805
GitHub 链接：https://github.com/google-research/bert

Nvidia 的 video-to-video synthesis 研究同样是下半年一大热点。该研究提出了一种新颖的生成模型 (GAN) 并在视频合成任务中取得惊人的效果。众所周知，GAN 是过去几年里最受欢迎的深度学习模型之一，该研究团队利用一种新颖的顺序生成器架构，以及一些前景和背景先验 (foreground-and-background priors) 等设计特征，解决了当前视频合成研究中时间不连贯的问题，进而提高了最终的性能。同样地，该项目代码也被 Nvidia 团队开源，并成为今年下半年第二大最受欢迎的项目。

论文链接：https://arxiv.org/abs/1808.06601
GitHub 链接：https://github.com/NVIDIA/vid2vid

640?wx_fmt=jpeg

同样值得关注的是，Google DeepMind 团队关于图网络 (graph_nets) 的最新研究。该研究得到广泛关注的原因是，因为它为解决结构化数据提供了一种新的方向。该开源项目是 2018 下半年排名第三位的受欢迎项目。

论文链接：https://arxiv.org/abs/1806.01261v3
GitHub 链接：https://github.com/deepmind/graph_nets

640?wx_fmt=png

最受欢迎的项目

DeOldify、BERT 和 Fast R-CNNs

下面来介绍下半年最受欢迎的三个开源项目。

首先是 DeOldify。这是一项使用生成对抗网络 (GAN) 来修复黑白旧照片并为其重新上色的研究，在深度学习领域引发了极大的兴趣和关注。该项目的作者是 Jason Antic，他借鉴了几种 GAN 模型的实现，包括 self-attention GANs (SA-GANs)、progressively growing GANs (PG-GANs)，来构建自己的模型，并采用两种时间跨度的原则，最终得到了有意思的结果。

GitHub 链接：
https://github.com/jantic/DeOldify

640?wx_fmt=jpeg

其次是 BERT 的 pytorch 实现，作者是 Junseong Kim。该项目的代码基于 The Annotated Transformer，代码风格简单易懂。

GitHub 链接：
https://github.com/codertimo/BERT-pytorch

最后一个项目是 Mask R-CNN 的 Keras/TensorFlow 实现，作者 Waleed Abdulla，这是今年下半年第三个热门 GitHub 项目。在结构上，Mask R-CNN 基于特征金字塔网络 (FPN) 和 ResNet101 为模型骨干，它可用于许多诸如 3D 建筑物重建，自动驾驶中的目标检测，检测地图中的建筑物类型等应用。

GitHub 链接：
https://github.com/matterport/Mask_RCNN

640?wx_fmt=png

最活跃的领域

NLP 和 GANs

通过查看 GitHub 上 Top50 的开源实现，我们会发现当前最热门、最活跃的研究领域是自然语言处理 (NLP) 和生成对抗模型 (GANs)。在 GitHub 上，GANs 领域最受欢迎的开源项目有 vid2vid，DeOldify，CycleGAN 以及 faceswaps，而最热门的 NLP 开源项目包括 BERT，HanLP，jieba，AllenNLP 以及 fastText。

640?wx_fmt=png

每7篇新论文中，只有一篇论文附有代码实现

希望研究者在发表论文的同时可以开源自己的代码实现。在过去 5 年的时间里，我们处理了60000 多篇机器学习领域的论文，在这些论文中，只有 12％的论文开源了它们的代码，而过去 6 个月新发表的论文中，大约只有 15％（即每7篇新论文中只有1篇）附有代码实现。这些数字都告诉我们还有更多的工作要做，但是一切也正朝着正确的方向发展！

每 20 分钟就会出现一篇机器学习论文

从 7 月到现在，机器学习领域论文发表数量的增长率一直维持在每月 3.5％左右，每年的增长率达到了 50％。这意味着，每月大约有 2200 篇新论文发表，按照这个趋势，预计明年将有近 30000 篇新论文发表。

为了更好描述这是怎样的一个趋势，我们绘制了曲线图与摩尔定律的趋势图进行比较。

640?wx_fmt=png

最热门的两大深度学习框架

Tensorflow 和 PyTorch

以往每年大部分论文的代码都是基于 Tensorflow 框架实现的，但是，今年 PyTorch 的火热程度无法让人忽视，PyTorch 社区的活跃度非常高。其他的框架，诸如 MXNet，Torch 和 Caffe2 在整个深度学习社区的活跃度和使用率相对就有些低了。 Tensorflow 和 PyTorch 这两大框架都发生了很大的变化，TensorFlow 正朝着 eager execution 的方向发展，并集成了新的 Keras API，而 PyTorch 的改进旨在使用者能够更轻松地构建自己的深度学习模型。

640?wx_fmt=png

展望

整个领域都开始强调论文的可复现性，虽然目前的数字显示，并不是都能做到，甚至我们还有一段路要走，但也正是如此，帮助大家明确了今后的工作的要求与方向。也希望出了研究人员外，有更多的人加入到开源社区中来。

此外，除了 Google 和 Facebook 这样的大型巨头公司外，独立的 ML 社区 (indie ML community) 也将有助于推动论文复现、代码开源等工作。如果，研究团队和开发社区能更加紧密的联系与合作，相信会产生更多有助于实际应用的机器学习工具，进而让整个领域更加发挥更大的潜力，全速前进。

原文链接：
https://medium.com/atlas-ml/state-of-deep-learning-h2-2018-review-cc3e490f1679

（*本文为AI科技大本营翻译稿件，转载请联系微信1092722531）

公开课预告

◆

文字识别

◆

OCR（文字识别）技术是目前常用的一种AI能力。但一般OCR的识别结果是一种按行输出的半结构化输出。本课程从百度自定义模板文字识别展开，从理论到案例，详细介绍OCR结构化的相关技术，并理清OCR和结构化之间的关系和适用场景。

入群福利：添加小助手微信cadnai2，回复：OCR，加入课程交流群。课程QA，PPT共享。

640?wx_fmt=jpeg

640?wx_fmt=png

推荐阅读

20k~50k,“寒冬季”一线城市技术人才依旧紧缺，千里马，赶紧来投！
20张图表达程序员的心酸
Python 爬取爱奇艺腾讯视频 250,000 条数据分析为什么李诞不值得了？
这位 50 岁的海归程序员，当着老板还在天天改 Bug

点击“阅读原文”，打开APP 阅读更顺畅。

https://www.dkcj.cn/info/36751.html

2018热点总结：BERT最热，GANs最活跃，每20分钟就有一篇论文...

相关文章：

android之android.intent.category.DEFAULT的用途和使用

MS sql server和mysql中update多条数据的例子

OpenGL编程轻松入门（四）

计算机科学实验教学示范中心,校领导调研计算机科学与技术国家级实验教学示范中心...

中科创达孙力：不迷信 AI 算法，智能视觉如何转型升级？

单元测试与敏捷开发

“AI明星”第四范式C轮融资超10亿元，估值约12亿美元

精灵图 html为什么会变大,[html] 第128天精灵图和base64如何选择呢？

组策略从入门到精通（十）通过组策略进行软件分发和卸载

RedHatAS4.0-RAID技术

今晚8点直播 | 详解基于百度自定义模板的OCR结果结构化处理技术

电脑计算机科学型,电脑里附带的计算器有标准型和科学型二种，它 – 手机爱问...

铜缆配线架的选择

go6---slice切片

TensorFlow支持Unicode，中文NLP终于省心了

C#:String.Format数字格式化输出

OpenStack如何实现高可用集群介绍

accp8.0html作业,Accp8.0HTML标签

向iOS越狱彻底说再见！

ArrayList的subList方法

男孩子学计算机和学医哪个好,你认为学医好还是读211大学的电子信息好？

Error Creating Control when creating a custom control

精选180+Python开源项目，随你选！做项目何愁没代码

八年级计算机网络公开课,计算机网络公开课教案.doc

Centos6.5升级系统自带gcc4.4.7到gcc4.8.0

photofunia

学计算机应用好还是汽车维修好,大学汽车运用与维修专业怎么样_学什么_前景好吗-520吉他网...

20T数据、百万奖金，同济和武大摘得开放数据创新应用大赛桂冠！

rrdtool报错

Grid R-CNN解读：商汤最新目标检测算法，定位精度超越Faster R-CNN