当前位置：首页 > 编程日记 > 正文

谷歌用1.2万个模型“推翻”现有无监督研究成果！斩获ICML 2019最佳论文

编程日记 2025-01-02 06:20:00

640?wx_fmt=jpeg

作者 | 夕颜、Just

出品 | AI科技大本营(ID:rgznai100)

6 月 11 日，在美国加州长滩举行的 ICML 公布了 2019 年最佳论文奖，来自苏黎世联邦理工大学、谷歌大脑等的团队和英国剑桥大学团队摘得最佳论文奖项，此外，大会还公布了 7 篇获最佳论文提名的论文，获奖团队来自 DeepMind、牛津、MIT 等。据统计，此次大会共收到 3424 篇提交论文，深度学习、通用机器学习、强化学习、优化是提交最多的子领域，但最终录取的论文仅有 774 篇，谷歌更是成为被接受论文最多的霸主。

首先，我们来揭晓本届 ICML 两篇最佳论文：
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
Rates of Convergence for Sparse Variational Gaussian Process Regression

最佳论文简介

640?wx_fmt=png

论文标题：挑战无监督学习解耦表示中的常见假设
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

团队：来自苏黎世联邦理工学院(ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑；
作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem
论文地址：http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf
论文摘要：

无监督学习解耦表示背后的关键思想是，真实世界是由一小部分可解释的变量因子生成，这些因子可以通过无监督学习算法进行恢复。在这篇论文中，我们提出对这一领域最新进展有了清醒认知，并且挑战了某些常见假设。

首先，我们从理论上表明，如果没有对模型和数据的归纳偏差，无监督学习解耦表示基本不可能存在；其次，在七种不同的数据集中，我们以一种可重复的大规模实验研究中训练了超 12000 个模型，使用了最重要的方法和评估指标。我们观察到，尽管用不同的方法成功的促进了相应损失“鼓励”属性，但如果没有监督，则很难识别出好的解耦模型。

此外，增加解耦似乎不会降低下游任务学习样本的复杂性。我们的结果表明，解耦学习的未来研究工作应该明确归纳偏见和（隐式）监督的作用，研究该强制解耦学习表示的具体好处，并且考虑有多种数据集的可重复的实验设置。

2. 论文标题：稀疏高斯过程回归变分的收敛速度

Rates of Convergence for Sparse Variational Gaussian Process Regression

团队：英国剑桥大学、机器学习平台 Prowler.io
作者：David R. Burt，Carl E. Rasmussen，Mark van der Wilk
论文地址：https://arxiv.org/pdf/1903.03571.pdf
论文摘要

对高斯过程后验（Gaussian process posteriors）的优秀变量近似法的提出避免了数据集大小为N时 O(N3) 的缩放。它们将计算成本减少到了 O （NM2），其中 M≤N 是诱导变量的数量，其总结了这一过程。

尽管虽然 N 的计算成本似乎是线性的，但算法的真实复杂性取决于 M 如何增加以确保近似质量。我们通过表征 KL 散度（KL divergence）向后验的上限行为来解决这个问题。我们证明了在高概率下，M 的增长速度比 N 慢，可以使 KL 的散度任意地减小。

一个特别有意思的例子是，对于具有 D 维度的正态分布输入的回归，使用流行的 Squared Exponential 核 M=O(logD N)就足够了。我们的研究结果表明，随着数据集的增长，高斯过程后验可以近似地逼近，并为如何在连续学习场景中增加M提供了具体的规则。

640?wx_fmt=png

7 篇最佳论文提名

640?wx_fmt=png

Analogies Explained: Towards Understanding Word Embeddings

作者：CarlAllen1，Timothy Hospedales，来自爱丁堡大学。

论文地址：https://arxiv.org/pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者：Po-WeiWang1，Priya L. Donti1，Bryan Wilder，Zico Kolter，分别来自卡耐基梅隆大学、南加州大学、Bosch Center for Artificial Intelligence。

论文地址：https://arxiv.org/pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者：Umut Şimşekli，Levent Sagun, Mert Gürbüzbalaban，分别来自巴黎萨克雷大学、洛桑埃尔科尔理工大学、罗格斯大学。
论文地址：https://arxiv.org/pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者：Zhu Li，Jean-François Ton，Dino Oglic，Dino Sejdinovic，分别来自牛津大学、伦敦国王学院。

论文地址：https://arxiv.org/pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者：Adam Golinski，Yee Whye Teh，Frank Wood，Tom Rainforth，分别来自牛津大学和英属哥伦比亚大学。

论文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分别来自MIT媒体实验室、DeepMind和普林斯顿大学。

论文地址：https://arxiv.org/pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者：Wouter Kool, Herke van Hoof, Max Welling，分别来自荷兰阿姆斯特丹大学，荷兰ORTEC 和加拿大高等研究所(CIFAR)。

论文地址：https://arxiv.org/pdf/1903.06059.pdf

论文统计

早在一个月前，Reddit上便有网友根据 ICML 2019 大会官网公布的接收论文情况进行统计（ https://icml.cc/Conferences/2019/Schedule?type=Poster），总结了这次大会接收论文最多的机构、贡献最多的作者等。
贡献最多的机构：谷歌、麻省理工、加州大学伯克利分校
统计结果显示， ICML 2019 接收论文最多的机构前三甲分别为谷歌（ 80 多篇）、麻省理工学院（40 多篇）以及加利福尼亚伯克利大学（40 多篇）。

640?wx_fmt=png 此外，国内的清华、北大也榜上有名，分别位列 18 和 34 名，腾讯位列 42 名，而阿里巴巴在 Top100 更靠后一点。

按照学术和工业划分，接收论文数量最多的机构分别为：
学术：麻省理工大学、伯克利大学、斯坦福大学
640?wx_fmt=png

工业：谷歌、谷歌大脑、微软

640?wx_fmt=png

学术和工业论文的统计情况：

452 篇论文（58.4％）纯属学术研究；
60 篇论文（7.8％）纯粹来自工业研究机构；
262 篇论文（33.9％）与作者隶属于学术界和工业界。

贡献最多作者：机器学习大牛 Michael Jordan

此外，ICML 2019 论文贡献最多的作者当属加州大学伯克利分校的机器学习大牛学习 Michael Jordan，被接收论文有 7 篇。其次是 EPFL（洛桑联邦理工学院）教授 Sergey Levin、加州大学伯克利分校的 Volkan Cevher 和 Peter Barlett。不得不说，加州大学伯克利分校真是人才辈出。

同时，我们还在这份榜单上看到了国内清华大学计算机科学与技术系的教授朱军、微软亚洲研究院的刘铁岩、清华大学软件学院的龙明盛等华人的身影。

640?wx_fmt=png

据了解，今年 ICML 共提交 3424 篇论文，其中录取 774 篇，论文录取率为 22.6%。录取率较去年 ICML 2018 的 25% 有所降低。事实上，这与其他顶级会议的论文录取情况十分相似，比如计算机视觉领域顶会 CVPR 2019 的录取率接近 25.2%，比去年的 29% 相比也有所下降。可以看出，近年来人工智能顶级会议的热度虽不减，但录取困难程度在不断提升。

关于今年的获奖和提名论文，大家认为公正吗？对于论文研究成果你有什么看法？欢迎在留言区讨论。

◆

精彩推荐

◆

参与投稿加入作者群，成为全宇宙最优秀的技术人~

640?wx_fmt=png

6月29-30日，2019以太坊技术及应用大会特邀以太坊创始人V神与以太坊基金会核心成员，以及海内外知名专家齐聚北京，聚焦前沿技术，把握时代机遇，深耕行业应用，共话以太坊2.0新生态。

扫码或点击阅读原文，既享优惠购票！

640?wx_fmt=jpeg

推荐阅读

Bert时代的创新：Bert在NLP各领域的应用进展 | 技术头条
免费GPU哪家强？谷歌Kaggle vs. Colab
高能！8段代码演示Numpy数据运算的神操作
Python编写循环的两个建议 | 鹅厂实战
Lambda 表达式有何用处？
9年前他用1万个比特币买了两个披萨, 9年后他把当年的代码卖给了苹果，成为了 GPU 挖矿之父
TIOBE 6月编程语言排行榜：Python 势不可挡，或在四年之内超越Java、C
漫威金刚狼男主弃影炒币了？

你点的每个“在看”，我都认真当成了喜欢

https://www.dkcj.cn/info/34486.html

谷歌用1.2万个模型“推翻”现有无监督研究成果！斩获ICML 2019最佳论文

免费GPU哪家强？谷歌Kaggle vs. Colab

高能！8段代码演示Numpy数据运算的神操作

相关文章：

实战：掌握PyTorch图片分类的简明教程 | 附完整代码

python group()

图像配准的方法

微软发布Visual Studio 2017 15.8

推荐系统产品与算法概述 | 深度

【iOS-cocos2d-X 游戏开发之十六】Cocos2dx编译后的Android自动使用(-hd)高清图设置自适应屏幕...

matlab图像处理命令(一)

MYSQL 查询数据排序数据和分组数据

Oracle RAC系列之：利用srvctl管理RAC数据库

matlab图像处理命令(二)

10万人的1000万张图像，微软悄然删除最大公开人脸数据集

密码学原理学习笔记

终于申请博客了

一种二维条码图像处理流程

vue中静态文件引用注意事项

百度AI快车道—企业深度学习实战营，推荐系统主题专场即将开课

SIFT特征提取算法总结

一步步构建大型网站架构

商汤科技举办病理、放疗两大MICCAI国际挑战赛，推动AI医疗落地

vue实战(1)——解决element-ui中upload组件使用多个时无法绑定对应的元素

MVVM开发模式MVVM Light Toolkit中使用事件和参数传递

harris角点检测与ncc匹配

CVPR 2019超全论文合集新鲜出炉！| 资源帖

ROS 用 roboware实现节点信息发送和接收

javah生成JNI头文件

【码书】一本经典且内容全面算法书籍，学算法必备

Ubuntu16.04.1 安装Nginx

linux下jboss的安装配置

RANSAC鲁棒参数估计

AlphaGo之父DeepMind再出神作，PrediNet原理详解