召唤超参调优开源新神器：集XGBoost、TensorFlow、PyTorch、MXNet等十大模块于一身...
整理 | 凯隐
编辑 | Jane
出品 | AI科技大本营（ID：rgznai100）
【导读】Optuna是一款为机器学习任务设计的自动超参数优化软件框架，是一款按运行定义(define-by-run) 原则设计的优化软件，允许用户动态地调整搜索空间，在同类软件中尤属首创，是下一代超参调优框架的代表。接下来，带大家了解 Optuna——新一代超参调优框架。
超参调优简介
在训练神经网络时，模型结构尺度，例如深度，宽度，每层分辨率等，都会影响到模型的最终性能，从这些参数组合中找到最适合当前任务的参数，就是常说的超参调优。
传统的超参调优方法是经验性的手动调整参数，并记录实验结果，然后通过人工分析对比确定下一步的参数调整方向，这种方法吃力且效率低，还容易出错。Optuna的出现大大降低了超参调优的难度，下面让我们来看看Pptuna是如何工作的吧！
Optuna工作方式和特点
1、按运行定义
首先通过 pip 命令安装 Optuna：
以层数搜索为例，我们需要优化的是一个用于分类的多层感知器的层数以及每一层的神经元个数：
将运行代码（5-11行）重新嵌入到试验（trial）函数中，试验函数通过单次执行代码来得到一组参数组合下的结果：
然后添加一个关于层数的 for 循环：
以及每层中神经元个数的 for 循环：
最后定义一个 study 对象，将trial训练结果作为优化目标，便可以通过多次实验找出最优超参数组合，这里设置的实验次数（n_trials=100）是 100 次：
完成以上步骤，便可以运行程序，让optuna来自动完成搜索过程，因此 Optuan 是一个专门为自动化设计的框架。此外我们可以看到代码编写是非常简单的，且非常灵活，可以随时调整搜索空间和次数上限，这也体现了Optuna按运行定义的特点。
2、并行分布式计算
上面的例子中我们使用的只是一个很简单的示例网络，但大部分情况下网络和数据集都要比示例大得多，此时 Optuna 的另一个特点就体现出来了：
在上述代码中，我们将搜索过程做了并行化处理，这样实际运行时效果就如同下图：
并行化处理能大幅减低调优所需时间，从而加速优化过程。此外 Optuna 还具有剪枝优化功能，即提前结束并行化实验中的低质量参数实验，从而提高效率。
3、支持多类型任务和框架
Optuna 不仅可以用于实验调参，也可以轻松地部署到生产作业以及数据分析任务中：
Optuna 的环境依赖非常简单，并且能独立地完成任务：
此外，Optuna 还支持许多其他深度学习框架和模块，例如 Tensorflow，Keras，PyTorch，MXNet等。
使用 Optuna
Optuna可以通过 pip 或 conda 指令进行安装，目前支持 python3.5 以上的版本，更多相关资料详见官网，官方文档，以及 Github 主页。
相关阅读：
https://optuna.org/
https://optuna.readthedocs.io/en/stable/
https://github.com/optuna/optuna
（*本文为AI科技大本营翻译文章，转载请微信联系 1092722531）
◆
精彩推荐
◆
2020年，由 CSDN 主办的「Python开发者日」活动（Python Day）正式启动。我们将与 PyCon 官方授权的 PyCon中国社区合作，联手顶尖企业、行业与技术专家，通过精彩的技术干货内容、有趣多元化的活动等诸多体验，共同为中国 IT 技术开发者搭建专业、开放的技术交流与成长的家园。未来，我们和中国万千开发者一起分享技术、践行技术，铸就中国原创技术力量。
【Python Day——北京站】现已正式启动，「新春早鸟票」火热开抢！2020年，我们还将在全国多个城市举办巡回活动，敬请期待！
活动咨询，可扫描下方二维码加入官方交流群~
CSDN「Python Day」咨询群 ????
来~一起聊聊Python
如果群满100人，无法自动进入，可添加会议小助手微信：婷婷，151 0101 4297（电话同微信）
推荐阅读
如何优雅地使用pdpipe与Pandas构建管道？
不可错过！2019 热门机器学习内容盘点
搜狐、美团、小米都在用的Apache Doris有什么好？ | BDTC 2019
伯克利新无监督强化学习方法：
减少混沌所产生的突现行为
机器推理文本+视觉，跨模态预训练新进展
中国搜索 20 年：易守难攻、刚需不减！
你点的每个“在看”，我都认真当成了AI
相关文章：
Linux下的Silverlight：Moonlight 1.0 Beta 1发布了
Moonlight是微软Silverlight的一个开源实现，其目标平台是Linux与Unix/X11系统。自从2007年9月开始，Moonlight就在Mono项目下进行了开发，它是由Novell发起并资助的。现在，Moonlight 1.0 Beta 1已经向公众发布了。 Novell和Mono宣布…
在visual studio 2010中调用ffmpeg
转自：http://blog.sina.com.cn/s/blog_4178f4bf01018wqh.html 最近几天一直在折腾ffmpeg，在网上也查了许多资料，费了不少劲，现在在这里和大家分享一下。 一、准备工作本来是想自己在windows下编译ffmpeg生成lib、dll等库文件的&am…
无线路由器与无线AP的区别
摆脱线缆的羁绊，手捧一杯香醇的咖啡在家中的任何角落都可以无拘无束和网友谈天说地──这就是无线的魅力！在无线网络迅猛发展的今天，无线局域网（Wireless Local-Area Network，简称WLAN）已经成为许多SOHO家庭…
Simple Dynamic Strings(SDS)源码解析和使用说明一
SDS是Redis源码中一个独立的字符串管理库。它是由Redis作者Antirez设计和维护的。一开始，SDS只是Antirez为日常开发而实现的一套字符串库，它被使用在Redis、Disque和Hiredis等作者维护的项目中。但是作者觉得这块功能还是比较独立的，应该让其…
“不会Linux，到底有多危险？”骨灰级成程序员：基本等于自废武功！
说起程序员的必备技能，我想大家都可以说很多，比如：算法、数据结构、数学、编程语言等等。对于程序员来讲，这些底层能力固然重要，但是，工具同样也是如此，比如常被大家所忽视的：Linux。…
“Uncaught TypeError: string is not a function”
http://www.cnblogs.com/haitao-fan/archive/2013/11/08/3414678.html 今天在js中写了一个方法叫做search()，然后点击按钮的时候提示： “Uncaught TypeError: string is not a function” 百思不得其解啊，我的js木有问题啊啊.... 后来才发现酱…
关于Nikon Ai AF 28mm F1.4D遮光罩的问题
-- 好不容易找到百变妖，确实比较妖！！遮光罩不好找，原厂推荐的HK-7基本属于古董中的古董。 爬文很久，终于找到一篇国外的介绍，说可以用HK-4代替，比HK-7效果更好，而且可以用85mm 1.4D-…
Simple Dynamic Strings(SDS)源码解析和使用说明二
在《Simple Dynamic Strings(SDS)源码解析和使用说明一》文中，我们分析了SDS库中数据的基本结构和创建、释放等方法。本文将介绍其一些其他方法及实现。（转载请指明出于breaksoftware的csdn博客） 字符串连接 SDS库提供下面两种方法进行字符串…
亚马逊机器学习服务：深入研究AWS SageMaker
作者 | Manish Manalath译者 | Shawn编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 机器学习是一个从数据中发现模式的强大概念。但是，如果您尝试过从零开始构建机器模型，那么您一定知道设计一个可扩展的机器学习工作流是多大的…
Java Timer 定时器的使用
一、延时执行首先，我们定义一个类，给它取个名字叫TimeTask，我们的定时任务，就在这个类的main函数里执行。 代码如下：package test;import java.util.Timer;public class TimeTaskTest { public static void main(Str…
Redis源码解析——前言
今天开启Redis源码的阅读之旅。对于一些没有接触过开源代码分析的同学来说，可能这是一件很麻烦的事。但是我总觉得做一件事，不管有多大多难，我们首先要在战略上蔑视它，但是要在战术上重视它。除了一些高大上的技术，我们…
asp.net客户端脚本验证小技巧
通用的客户端脚本验证 Code//验证客户端function checkclient() { var list document.all; for(var i0 ;i<list.length; i) { var h list[i].hint; if(h ! null && h ! "") { if(list[i].isdrop"…
5个可以帮助你提高工作效率的新AI工具
作者 | Kyrylo Lyzanets译者 | 火火酱编辑 | Carol出品 | AI科技大本营（ID: rgznai100） 毫无意义的新闻、故事和活动会占用你每天多少的工作时间？假如你是一名需要高绩效的高管或专业人士，如果在工作中可以不分心，那你…
Centos6.5更换163源 epel源
想必大家都遇到过，安装新的centos系统，使用yum去安装软件的时候，要么找不到，要么慢的让人发疯。网上其实办法很多，直接更换163源就ok，但是基本所有的文章都是直接wget下163的源，但是不知道为什么…
图模型+Bert香不香？完全基于注意力机制的图表征学习模型Graph-Bert
作者 | Jiawei Zhang、Haopeng Zhang、Congying Xia、Li Sun译者 | 凯隐编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】本文提出了一种全新的图神经网络 Graph-Bert，仅仅基于 Attention 机制而不依赖任何类卷积或聚合操作…
闭关纪要17.Google app engine的简单应用
在上面用了十一篇博客的文章详细的介绍了，Step1账户登录系统之后，从现在开始，继续写闭关纪要，因为Step1账户登录系统也是闭关工作的一部分，因此保留序号，这篇纪要在上次的闭关纪要5.WML,UTF-8,BOM,签名及其…
Redis源码解析——内存管理
在《Redis源码解析——源码工程结构》一文中，我们介绍了Redis可能会根据环境或用户指定选择不同的内存管理库。在linux系统中，Redis默认使用jemalloc库。当然用户可以指定使用tcmalloc或者libc的原生内存管理库。本文介绍的内容是在这些库的基础上&#…
poj_2479 动态规划
题目大意 给定一列数，从中选择两个不相交的连续子段，求这两个连续子段和的最大值。 题目分析 典型的M子段和的问题，使用动态规划的方法来解决。 f[i][j] 表示将A[1...i] 划分为j个不相交连续子串，且A[j]属于第i个子串，…
Redis源码解析——字典结构
C语言中有标准的字典库，我们可以通过pair(key,value)的形式存储数据。但是C语言中没有这种的库，于是就需要自己实现。本文讲解的就是Redis源码中的字典库的实现方法。（转载请指明出于breaksoftware的csdn博客） 一般情况下…
十步，教你把Python运行速度提升 30%
作者 | Martin Heinz译者 | 陆离编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】一直以来，诟病 Python语言的人经常说，他们不想使用的一个原因是 Python 的速度太慢了。不管使用哪一种编程语言，程序…
字符串转换成NSDate类型的 为nil解决方法
方法一 通过下列函数来解决 但是得到的日期会改变 修改方法fix- (NSDate *)timeForString:(NSString *)string {NSMutableString *timeString [[NSMutableString alloc] initWithString:string]; [timeString setString:[timeString stringByReplacingOccurrence…
Redis源码解析——字典基本操作
有了《Redis源码解析——字典结构》的基础，我们便可以对dict的实现进行展开分析。（转载请指明出于breaksoftware的csdn博客） 创建字典 一般字典创建时，都是没有数据的，但是字典类型需要确定，所以我们看到R…
[转]控制 Cookie 的作用范围
默认时，网站的所有 Cookies 都一起被存储在客户端，并且所有 Cookies 连同网站的任何请求一起被发送到服务器。换句话说，网站中的每个页面都能够为网站获取所有的 Cookies。但是，你能够通过两个方式来设置 Cookies 的作用范围&…
强化学习70年演进：从精确动态规划到基于模型
作者 | Nathan Lambert译者 | 泓礼编辑 | 夕颜出品 | AI科技大本营（ID: rgznai100）【导读】这是一份帮你了解强化学习算法本质的资源，无需浏览大量文档，没有一条公式，非常适合学生和研究人员阅读。作为强化学习研究人员…
Android ActionBar相关
1.Android 5.0 删除ActionBar下面的阴影 于Android 5.0假设你发现的ActionBar下面出现了阴影，例如，下面的设置，以消除阴影： getActionBar().setElevation(0); Android 5.0之前能够用以下代码消除阴影： <item name&q…
Redis源码解析——字典遍历
之前两篇博文讲解了字典库的基础，本文将讲解其遍历操作。之所以将遍历操作独立成一文来讲，是因为其中的内容和之前的基本操作还是有区别的。特别是高级遍历一节介绍的内容，充满了精妙设计的算法智慧。（转载请指明出于breaksoftwar…
开发者在行动！中国防疫开源项目登上GitHub TOP榜
整理 | 唐小引出品 | CSDN（ID：CSDNnews）【导读】用开发者们的方式支援这场没有硝烟的战争！截止北京时间 1 月 28 日下午 15:47，全国确诊新型冠状病毒的数字已经到达了 4586 例，疑似高达 6973 例，…
像童话一样学习OSPF原理
可以把整个网络（一个自治系统AS）看成一个王国，这个王国可以分成几个 区(area)，现在我们来看看区域内的某一个人(你所在的机器root)是怎样得到一张 世界地图(routing table)的。 首先，你得跟你周围的人（…
队列——PowerShell版
继续读啊哈磊《啊哈！算法》感悟系列——队列 地铁售票处排队，先来的人先到队首先买完先走，后来的人排在队尾等候后买完后走。 想买票，必须排在队尾；买完票，只能从队首离开。 这种先进先出（First…
Redis源码解析——双向链表
相对于之前介绍的字典和SDS字符串库，Redis的双向链表库则是非常标准的、教科书般简单的库。但是作为Redis源码的一部分，我决定还是要讲一讲的。（转载请指明出于breaksoftware的csdn博客） 基本结构 首先我们看链表元素的结构。因为…