当前位置：首页 > 编程日记 > 正文

谷歌开源新模型EfficientNet，或成计算机视觉任务新基础

编程日记 2025-01-02 17:50:00

640?wx_fmt=jpeg

作者 | Mingxing Tan，Quoc V. Le，Google AI

译者 | 刘畅

责编 | 夕颜
出品 | AI科技大本营（id：rgznai100）

开发一个卷积神经网络（CNN）的成本通常是固定的。在获得更多资源时，我们通常会按比例进行扩展，以便获得更优的准确性。例如，ResNet可以通过增加层数从ResNet-18扩展到ResNet-200，最近，GPipe 网络通过将基准 CNN 模型扩展四倍，在 ImageNet Top-1 上获得了 84.3％的准确度。在模型扩展方面的操作通常是任意增加 CNN 的深度或宽度，或者在更大输入图像分辨率上进行训练和评估。虽然这些方法确实提高模型了准确性，但它们通常需要繁琐的手工调整，而且还不一定能找到最优的结构。换言之，我们是否能找到一种扩展设计方法来获得更好的准确性和效率呢？

在 Google 的 ICML 2019 论文“EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”中，作者提出了一种新的模型尺度缩放方法，该方法使用简单且高效的复合系数以更结构化的方式来扩展 CNN。与任意缩放网络尺寸的传统方法（例如宽度、深度和分辨率）不同，本文使用一个固定的缩放系数集合，均匀地缩放每个维度。借助这种新的缩放方法和在AutoML 方面的最新进展，Google 开发了一系列称为 EfficientNets 的模型，它超越了 SOTA 的精度，并且将效率提高了10倍（更小、更快）。

复合模型扩展：一种更好的扩展 CNN 的方法

为了理解扩展网络的效果，本文系统地研究了扩展模型不同维度带来的影响。虽然扩展各个维度可以提高模型性能，但作者观察到，平衡网络宽度、深度和输入图像大小这些维度比增加计算资源，可以更好地提高整体性能。

复合扩展方法的第一步是执行网格搜索，用来找到在固定资源下基准网络不同扩展维度之间的关系。这决定了上文提到的每个维度的缩放系数。然后，作者用这些系数将基准网络扩展到所需的目标模型大小或预算的计算力。

不同缩放方法的比较。与传统仅缩放单个维度的方法（b）-（d）不同，我们的复合缩放方法以某种方式统一扩展所有维度。

与传统的缩放方法相比，这种复合缩放方法可以用于提高多个模型的准确性和效率，如MobileNet（+ 1.4％图像网精度）和ResNet（+ 0.7％）。

高效的网络架构

模型缩放的有效性也在很大程度上依赖于基准网络。因此，为了进一步提高性能，作者使用了 AutoML MNAS 框架（该框架在准确性和效率上都做了优化），利用神经架构搜索来开发新的基准网络。由此产生的架构使用了移动端的逆向 bottleneck 卷积（MBConv），类似于 MobileNetV2 和 MnasNet，但由于有更多的 FLOP 预算，因此结构略大。最终，作者扩展了这个基准网络以获得一系列模型，称为 EfficientNets。

本文的基准网络 EfficientNet-B0，其架构简单干净，便于扩展。

EfficientNet 网络的性能

文中将 EfficientNets 与 ImageNet 上其他现有的 CNN 进行了比较。总的来说，EfficientNet 模型实现了比现有 CNN 更高的精度和更高的效率，将参数大小和 FLOPS 降低了一个数量级。例如，在高精度下，EfficientNet-B7 在 ImageNet 上达到了 SOTA 的Top-1，84.4％的准确率与 Top-5 97.1％的准确率，同时在 CPU 上的开销比之前的 Gpipe 小 8.4 倍和 6.1 倍。与广泛使用的 ResNet-50 相比，EfficientNet-B4 在保持相同 FLOPS 开销情况下，将 Top-1 的精度从ResNet-50 的 76.3％提高到 82.6％（+ 6.3％）。

模型尺寸与精度比较。 EfficientNet-B0 是由 AutoML MNAS 开发的基准网络，而 Efficient-B1 到 B7 是通过扩展基准网络得到。特别是，EfficientNet-B7 实现了 SOTA 的 Top-1，84.4％准确率与 Top-5，97.1％的准确率，同时比现有最佳的 CNN 小 8.4 倍。

尽管 EfficientNets 在 ImageNet 上表现较好，但为了验证它的泛化能力，也应该在其他数据集上进行测试。为了评估这一点，作者在八个广泛使用的迁移学习数据集上测试了EfficientNets。EfficientNets 在 8 个数据集中的 5 个中实现了 SOTA 的精度，例如 CIFAR-100（91.7％）和 Flowers（98.8％），模型参数减少了一个数量级（减少了21倍），这表明EfficientNets 也能很好的进行迁移。

由于 EfficientNets 显著提高了模型效率，作者预计它可能在未来会成为计算机视觉任务的新基础。因此，作者开源了所有 EfficientNet 模型。

代码地址：

https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

原文地址：

https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html?m=1

◆

精彩推荐

◆

6月29-30日，2019以太坊技术及应用大会特邀以太坊创始人V神与以太坊基金会核心成员，以及海内外知名专家齐聚北京，聚焦前沿技术，把握时代机遇，深耕行业应用，共话以太坊2.0新生态。

扫码或点击阅读原文，既享优惠购票！

640?wx_fmt=jpeg

推荐阅读

代码有温度科技需向善
谷歌开源张量网络库TensorNetwork，GPU处理提升100倍！
B站超全分享！2万人收藏的免费计算机科学速成课
罗永浩的开源情怀
被5月GitHub Top20榜单惊呆了! 原来区块链大佬都在做这个...
惊！为拯救美国落伍的 STEM 教育，纷纷出手教老师编程？！
超级黑幕：开发者千万别被算法迷惑了！
高考倒数 2 天！程序员惊现最燃表白！
从流感预测到智能决策，深度学习能帮企业做哪些事？
有一种青春叫高考，Python爬取历年数据，说说我们一起经历的高考

640?wx_fmt=png

点击阅读原文，查看更多精彩内容。

https://www.dkcj.cn/info/34555.html

谷歌开源新模型EfficientNet，或成计算机视觉任务新基础

相关文章：

【FFmpeg】使用过的命令汇总（持续更新中...）

HLG 1481 Attack of the Giant n-pus【二分+二分图完全匹配】

美亚排名超高的Docker入门书，不止简单易懂

虚拟机配置参数

【Qt】QAudioDeviceInfo获取不到音频设备

异常:android.os.NetworkOnMainThreadException

阿里带火的中台到底是什么？白话中台战略

【Qt】Ubuntu18.04下解决Qt出现qt.qpa.plugin:Could not load the Qt platform plugin “xcb“问题

Bootstrap4 更新笔记

二、JavaScript基础学好jQuery要了解的

一文综述经典的深度文本分类方法

【FFmpeg】便捷函数汇总（持续更新中...）

云服务器代金券

NLP最新资源：论文、代码、博客、视频一应俱全

android在线播放音乐

head和tail命令详解

【FFmpeg】ffmpeg工具源码分析（四）：filter（过滤器、滤镜）详解

【ZooKeeper Notes 14】数据模型

李理：为什么说人工智能可以实现？

【FFmpeg】FFmpeg编解码H264产生马赛克、伪影的解决方法

LINUX内核升级

我在美团的这两年，想和你分享

【Qt】QtCreator updatePchInfo:switching to none

学习框架、库的经验

开源应用程序结构

免费GPU哪家强？谷歌Kaggle vs. Colab

【SVN】svn“E155017工作副本的参考文件损坏、E200014文件校验和不匹配”的解决方法

QT程序启动加载流程简介

QQ2012 Under Ubuntu

25亿布局大湾区，创新工场的AI下一站