当前位置： 首页 > 编程日记 > 正文

ICLR 2020被爆半数审稿人无相关领域经验，同行评审制度在垮塌？

编程日记 2024-12-17 12:00:00
640?wx_fmt=png

作者 | 若名
出品 | AI科技大本营（ID:rgznai100）

根据维基百科，同行评议（peer review)，是指由一个或多个具有与作品生产者具有相似能力的人员（同行）对作品进行的评估活动。同行评审方法用于维持质量标准以及提供信誉背书。在学术界，学术同行评审通常用于确定学术论文是否适合发表。
计算机领域的顶尖会议评选论文前，一般都有同行评议人员进行评分筛选。不过，随着顶会论文的数量不断增多，同行评议制度的弊端也在显现。
截止 9 月 25 日，ICLR 2020 大会共收到近 2600 篇投稿，相比 ICLR 2019 的 1580 篇论文投稿，今年增幅约为 62.5%。
近日，英伟达机器学习研究负责人 Animashree Anandkumar 在推特上向 ICLR 2020 的同行评议审稿人开炮。
她称，每个即将到来的 AI 会议的同行评议质量都在变差。我们的 #ICLR 2020 审稿人的评分有极大的差距（8 分和 1 分），评分较低的审稿人太令人讨厌和痛心了。这就像他们在参加战斗并想要破坏竞争一样。这不健康，还有哪些替代选择吗？
640?wx_fmt=jpeg

对同行评议抨击后，Animashree 发布了数条评论：
“我严重关切向那些AI 会议投稿的年轻人的情绪健康，（同行评议）对他们有巨大的影响。我们没有花足够的时间关注它（论文）。我考虑过只发表（论文）到@arXiv_Daily上，让社区决定论文是否对研究者有用。”
她告诫学生和向#ICLR2020投稿的作者不要在意审稿人意见，如果你相信自己的研究，就必须继续为此而奋斗，并尝试接纳具有建设性的评审建议，但不要让审稿人决定你的自我价值。
她对不专业的审稿人感到愤懑，并抨击了入选同行评议审稿人的标准。
“ICLR2020 的同行评议中对专家的自我评估是很奇怪的。无知的人声称自己是专家(通常来自特权阶层)，而谦逊的人不想这样做。我看到的是AC，教授把自己的排名放在中间，而本科生却把自己排在专家的位置。”

学界教授声援，同行评议制度在垮塌？
由于每个审稿人的关注点不同，给出的分数也会不同，但顶会论文中评分差距较大的论文也并不少，面对 Animashree Anandkumar 对同行评议审稿人的控诉，杜克大学陈怡然教授也分享了自己的投稿经历：
640?wx_fmt=png

UC 伯克利大学教授马毅则在微博上也进行了声援：
“我已明确告诉我的学生，以后solid，deep的工作，post到arxiv，主要发期刊。conference方便试一次就好，中不中无关紧要。就把conference当成科研写作的基本训练，入门要求。照目前发展趋势，所有所谓顶会的文章，尤其是AI 领域，很快会被当成混饭吃的玩意儿。至少真正做学问的地方和人不会再看重。当然，也奉劝那些真想做学问的，别老想去凑什么热闹，自取其辱。”
随后，@南大周志华教授在微博上发了推特截图：“某高层群传来的信息，ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文2_05.png 。。。投稿量远远大于合格审稿人群所能（超负荷）承受的程度，会使得顶会逐个垮塌。。。或许最终只好回到期刊去了”
640?wx_fmt=png

尽管同行评议制度有其缺陷，但目前来看它依然是论文评审的重要选择，关键在于如何让该制度变得不水，更具公信力？
有学者称，解决此问题的一种方法是对审稿人进行评分（通过论文作者、其他审稿人和区域主席），并公开这一评分数据，这将完全提高审稿人的积极性，也为区域主席提供根据情况进行审稿的工具。
640?wx_fmt=png

Animashree Anandkumar 回应称，“我们应该要求审稿人负责。如果我们允许作者进行评分，则给分较高的审稿人将会获得更高的评分，而不是哪些给出客观评分的审稿人。那能仅限给出 AC（accepted）的审稿人和其他审稿人吗？我试图找出不道德的审稿人，但这并不容易。”
640?wx_fmt=png

清华大学刘知远教授认为，open review（公开评审）机制一定程度可以纠正错误或不专业的审稿意见。
不过，周志华教授也指出，open review 仅当参与者都是相当级别的专家才有效，否则更容易被误导。“学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了。”
640?wx_fmt=png

对同行评议制度，你有何见解？欢迎评论。
一个彩蛋
值得一提的是，由于 ICLR 2020 大会今年取消了模棱两可的分数，只有reject(1), weak reject(3), weak accept(6), 和 accept(8) 这四个档，这导致今年的平均分低于往年。当然也不乏高分论文，推特网友@ankesh_anand整理了 ICLR 2020 评分最高的 11 篇论文，它们的分数全部都是 8 分：

1、BackPACK: Packing more into Backprop
https://openreview.net/pdf?id=BJlrF24twB
Code: https://toiaydcdyywlhzvlob.github.io/backpack/
2、FreeLB: Enhanced Adversarial Training for Language Understanding
https://openreview.net/pdf?id=HkxlcnVFwB
3、GenDICE: Generalized Offline Estimation of Stationary
https://openreview.net/pdf?id=Hkxvl0EtDH
4、A Causal View on Robustness of Neural Networks
https://openreview.net/pdf?id=HylsTT4FvB

5、A Theory of Usable Information under Computational Constraints
https://openreview.net/pdf?id=r1eBeyHFDH

6、CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
https://openreview.net/pdf?id=HJgzt2VKPB
7、Dynamics-Aware Unsupervised Skill Discovery
https://openreview.net/forum?id=HJgLZR4KvH
8、Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
https://openreview.net/forum?id=BJe55gBtvH
9、Recurrent Hierarchical Topic-Guided Neural Language Models
https://openreview.net/pdf?id=Byl1W1rtvH
Code: https://drop.me/BbR8pr
10、On the "steerability" of generative adversarial networks
https://openreview.net/pdf?id=HylsTT4FvB
11、Smooth markets: A basic mechanism for organizing gradient-based learners
https://openreview.net/pdf?id=B1xMEerYvB

（*本文为AI科技大本营原创文章，转载请微信联系 1092722531）


◆

精彩推荐

◆



2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！

640?wx_fmt=png


推荐阅读


https://www.dkcj.cn/info/32218.html

相关文章：

Swift 中使用 SQLite——批量更新（事务处理）

本文是Swift 中使用 SQLite系列的收官之作，介绍一下在数据库中的批量更新。 事务 在准备做大规模数据操作前，首先开启一个事务，保存操作前的数据库的状态开始数据操作如果数据操作成功，提交事务，让数据库更新到数据操…

编程日记2024/12/17 11:50:00

网络管理常用命令之二 - Ipconfig 命令详解（图文）

2、Ipconfig 命令...不带参数.../all 参数.../release 和 /realease6 参数.../Renew 和 /Renew6 参数.../flushdns 参数.../displaydns 参数2、Ipconfig 命令 ipconfig命令也是使用率非常高的一个命令，可用于显示系统的TCP/IP网络配置值，并刷新动态主…

编程日记2024/12/17 11:40:00

Swift 中使用 SQLite——查询数据

本文主要介绍如何查询 SQLite 结果集，以及封装 SQLite 的操作方法。 准备测试代码 /// 从数据库中加载 person 数组 class func persons() -> [Person]? {// 1. 准备 SQLlet sql "SELECT id, name, age, height FROM T_Person;"// 2. 访问数据库// …

编程日记2024/12/17 11:30:00

提高C++性能的编程技术笔记：总结

《提高C性能的编程技术》这本书是2011年出版的，书中有些内容的介绍可能已经过时，已不再适用于现在的C编程中，但大部分内容还是很有参考意义的。 这里是基于之前所有笔记的简单总结，笔记列表如下： 跟踪实例&#xff1…

编程日记2024/12/17 11:20:00

13岁小孩都跟我抢Python了，完了！

以下来自一位程序员母亲和工作人员的对话。程序员妈妈：您好，可以帮我推荐一本适合我家小孩看的编程书籍吗？兔子：可以的呀，《Scratch从入门到精通》，这本书适合小孩学习，您可以先看一下哦~程序员…

编程日记2024/12/17 11:10:00

Windows Mobile 6.0 SDK和中文模拟器下载

【转】 Windows Mobile 6.0 SDK和中文模拟器下载 Windows Mobile 6.5 模拟器2010年12月06日 星期一 07:48转载自 zhangyanle86终于编辑 zhangyanle86Windows Mobile 6.0 SDK和中文模拟器下载 SDK 6.0下载页面：http://www.microsoft.com/downloads/details.aspx?fam…

编程日记2024/12/17 11:00:00

wxPython：Python首选的GUI库 | CSDN博文精选

作者 | 天元浪子来源 | CSDN博客文章目录概述窗口程序的基本框架事件和事件驱动菜单栏/工具栏/状态栏动态布局AUI布局DC绘图定时器和线程后记概述跨平台的GUI工具库，较为有名的当属GTK、Qt 和 wxWidgets 了。GTK是C实现的，由于C语言本身不支持OOP&#x…

编程日记2024/12/17 10:50:00

Swift 中使用 SQLite——修改和删除数据

本文主要介绍在SQLite中修改数据、删除数据&#xff1a; 更新记录 /// 将当前对象信息更新到数据库 /// /// - returns: 是否成功 func updatePerson() -> Bool {guard let name name else {print("姓名不能为空")return false}if id < 0 {print("id 不…

编程日记2024/12/17 10:40:00

用python3实现指定目录下文件sha256及文件大小统计

有时会统计某个目录下有哪些文件&#xff0c;每个文件的sha256及文件大小等相关信息&#xff0c;这里用python3写了个脚本用来实现此功能&#xff0c;此脚本可跨平台&#xff0c;同时支持windows和linux&#xff0c;脚本(get_dir_file_info.py)内容如下&#xff1a; import os…

编程日记2024/12/17 10:30:00

Swift 中使用 SQLite——新增数据

本文重点介绍两个方面&#xff0c;1、新增数据&#xff0c;2、获取自动增长 ID。 建立 Person.swift 数据模型 /// 个人模型 class Person: NSObject {// MARK: - 模型属性/// 代号var id: Int64 0/// 姓名var name: String?/// 年龄var age 0/// 身高var height: Double …

编程日记2024/12/17 10:20:00

投稿2877篇，EMNLP 2019公布4篇最佳论文

整理 | AI科技大本营&#xff08;ID:rgznai100&#xff09;近日&#xff0c;自然语言处理领域的顶级会议之一EMNLP 2019公布了年度最佳论文。EMNLP是由国际语言学会&#xff08;ACL&#xff09;下属的SIGDAT小组主办的自然语言处理领域的顶级国际会议&#xff0c;是自然语言算法…

编程日记2024/12/17 10:10:00

对象检测工具包mmdetection简介、安装及测试代码

mmdetection是商汤和港中文大学联合开源的基于PyTorch的对象检测工具包&#xff0c;属于香港中文大学多媒体实验室open-mmlab项目的一部分。该工具包提供了已公开发表的多种流行的检测组件&#xff0c;通过这些组件的组合可以迅速搭建出各种检测框架。 mmdetection主要特性&am…

编程日记2024/12/17 10:00:00

(转)eclipse 代码自动补全

转自&#xff1a;http://blog.csdn.net/yushuwai2010/article/details/11856129 一般默认情况下&#xff0c;Eclipse的代码提示功能是比MicrosoftVisualStudio的差很多的&#xff0c;主要是Eclipse本身有很多选项是默认关闭的&#xff0c;要开发者自己去手动配置。如果开发者不…

编程日记2024/12/17 09:50:00

swift 多线程GCD和延时调用

GCD 是一种非常方便的使用多线程的方式。通过使用 GCD&#xff0c;我们可以在确保尽量简单的语法的前提下进行灵活的多线程编程。在 “复杂必死” 的多线程编程中&#xff0c;保持简单就是避免错误的金科玉律。好消息是在 Swift 中是可以无缝使用 GCD 的 API 的&#xff0c;而且…

编程日记2024/12/17 09:40:00

目标检测算法Faster R-CNN简介

在博文https://blog.csdn.net/fengbingchun/article/details/87091740 中对Fast R-CNN进行了简单介绍&#xff0c;这里在Fast R-CNN的基础上简单介绍下Faster R-CNN。 目标检测领域从R-CNN开始&#xff0c;通过引入卷积神经网络取得了很多突破性的进展&#xff0c;但是始终未能…

编程日记2024/12/17 09:30:00

ICCV 2019 | 加一个任务路由让数百个任务同时跑起来，怎么做到？

作者 | Gjorgji Strezoski, Nanne van Noord, Marcel Worring 译者 | 中国海洋大学李杰 出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;摘要传统的多任务&#xff08;MTL&#xff09;学习方法依赖于架构调整和大型可训练参数集来联合优化多个任务。但是&#xff0c;…

编程日记2024/12/17 09:20:00

DEV开发之控件NavBarControl

右键点击RunDesigner弹出如下界面鼠标先点击3或4,1&#xff0c;&#xff0c;然后点击1或2进行相应的新增或删除操作&#xff0c;3是分组&#xff0c;4是项目&#xff0c;4可以直接拖动到相应的分组3.属性caption:显示的名称4.NavBarControl 属性 PaintStyleName绘画风格&…

编程日记2024/12/17 09:10:00

swift支持多线程操作数据库类库-CoreDataManager

类库方法 获取数据 executeFetchRequest(request:) 同步获取数据 var request: NSFetchRequest NSFetchRequest(entityName: "MonkeyEntity")var myMonkeys:NSArray? CoreDataManager.shared.executeFetchRequest(request)异步获取数据 executeFetchRequest(re…

编程日记2024/12/17 09:00:00

目标检测(或分隔)算法Mask R-CNN简介

在博文https://blog.csdn.net/fengbingchun/article/details/87195597 中对Faster R-CNN进行了简单介绍&#xff0c;这里在Faster R-CNN的基础上简单介绍下Mask R-CNN。 Mask R-CNN是faster R-CNN的扩展形式&#xff0c;能够有效地检测图像中的目标&#xff0c;并且Mask R-CNN…

编程日记2024/12/17 08:50:00

未来之城，管理者可能不是人......

大会官网 https://t.csdnimg.cn/KSTh2010 年&#xff0c;IBM 正式提出了“智慧地球”愿景。在 IBM 的设想中&#xff0c;智慧城市应该由六个核心系统组成&#xff1a;组织&#xff08;人&#xff09;、业务/政务、交通、通讯、水和能源。&#xff08;图源 | IBM 官网&#xff0…

编程日记2024/12/17 08:40:00

UVa 10701 - Pre, in and post

题目&#xff1a;已知树的前根序&#xff0c;中根序遍历转化成后根序遍历。 分析&#xff1a;递归&#xff0c;DS。依据定义递归求解就可以。 前根序&#xff1a;根&#xff0c;左子树&#xff0c;右子树&#xff1b; 中根序&#xff1a;左子树&#xff0c;根&#xff0c;右子树…

编程日记2024/12/17 08:30:00

图像集存储成MNIST数据集格式实现

有时会用到将一组图像存放成MNIST中那样的数据格式&#xff0c;以便于用于网络的训练和测试&#xff0c;如MNSIT中的测试集标签t10k-labels.idx1-ubyte和测试集图像t10k-images.idx3-ubyte&#xff0c;各包含了10000个样本&#xff0c;这里以此两个测试集为例详细说明下实现过程…

编程日记2024/12/17 08:20:00

ios9定位服务的app进入后台三分钟收不到经纬度，应用被挂起问题及解决方案

原来定位服务是10分钟收不到定位信息就挂起定位&#xff0c;现在变为最短3分钟&#xff0c;估计都是为了省电吧。只要你开启应用的后台定位&#xff0c;并且10分钟有一次定位&#xff0c;那么苹果就不会关闭你的线程&#xff0c;现在变成3分钟。若你的应用开启了后台定位&#…

编程日记2024/12/17 08:10:00

程序员必知的20个Python技巧

作者 | Duomly 译者 | 弯月&#xff0c;编辑 | 郭芮 出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09;Python是一门流行且应用广泛的通用编程语言&#xff0c;其应用包括数据科学、机器学习、科学计算等领域&#xff0c;以及后端Web开发、移动和桌面应用程序等方面。…

编程日记2024/12/17 08:00:00

CSS float浮动的深入研究、详解及拓展(二)

为什么80%的码农都做不了架构师&#xff1f;>>> 接上回… 五、浮动的非本职工作 浮动的本职工作是让匿名inline boxes性质的文字环绕图片显示&#xff0c;而其他所有用浮动实现的效果都不是浮动应该做的事情&#xff0c;我称之为“非本职工作”。 或许我们并没有…

编程日记2024/12/17 07:50:00

不需要显示地图 就获得用户当前经纬度 超简单的方法

1.遵循协议 CLLocationManagerDelegate,AMapSearchDelegate,AMapLocationManagerDelegate 2. API MAMapServices.sharedServices().apiKey APIKey AMapLocationServices.sharedServices().apiKey APIKey AMapSearchServices.sharedServices().apiKey APIKey AMapNaviService…

编程日记2024/12/17 07:40:00

ELECTRA：超越BERT，2019年最佳NLP预训练模型

作者 | 李如来源 | NLPCAB&#xff08;ID:rgznai100&#xff09;【导读】BERT推出这一年来&#xff0c;除了XLNet&#xff0c;其他的改进都没带来太多惊喜&#xff0c;无非是越堆越大的模型和数据&#xff0c;以及动辄1024块TPU&#xff0c;让工程师们不知道如何落地。今天要介…

编程日记2024/12/17 07:30:00

安装node和spm过程

2019独角兽企业重金招聘Python工程师标准>>> 安装nodejs 官网下载nodejs&#xff0c;我下的是v0.10.33版本&#xff0c;安装到d:\nodejs下。 1.新建目录d:\nodejs&#xff0c;在其中建立node_cache、node_global、node_modules三个目录。 2&#xff0c;将C:\Users…

编程日记2024/12/17 07:20:00

经典网络LeNet-5介绍及代码测试(Caffe, MNIST, C++)

LeNet-5&#xff1a;包含7个层(layer)&#xff0c;如下图所示&#xff1a;输入层没有计算在内&#xff0c;输入图像大小为32*32*1&#xff0c;是针对灰度图进行训练和预测的。论文名字为” Gradient-Based Learning Applied to Document Recognition”&#xff0c;可以直接从ht…

编程日记2024/12/17 07:10:00

根据经纬度获取用户当前位置信息

根据上篇文章获取的经纬度获取用户当前的位置信息 //获取用户所在位置信息ADDRESS func getUserAddress() { let latitude : CLLocationDegrees LATITUDES! let longitude : CLLocationDegrees LONGITUDES! print("latitude:\(latitude)") print("longitude…

编程日记2024/12/17 07:00:00