meery(英文名rock是什么意思)

作者|若明

出品| AI技术大本营(ID:rgznai100)

根据维基百科的定义，同行评审(peer review)是指一个或多个人(同行)对一部作品的评价，这些人与作品的制作者具有相似的能力。同行评审方法用于保持质量标准和提供信用背书。在学术界，通常采用学术同行评议来确定学术论文是否适合发表。

在计算机领域的顶级会议评选论文之前，通常会有同行评审员进行评分和筛选。然而，随着峰会论文数量的不断增加，同行评议制度的弊端也逐渐显现。

截至9月25日，ICLR 2020大会已收到近2600篇投稿，与ICLR 2019提交的1580篇论文相比，今年增加了约62.5%。

最近，英伟达机器学习研究负责人Animashree Anandkumar在推特上向《ICLR 2020》的同行评审员开火。

她说，每一场即将到来的人工智能大会的同行评审质量都在变差。我们的#ICLR 2020评论者的评分存在巨大差距(8和1)。评分较低的评论者太讨厌，太让人心疼。这就像他们在战斗，试图摧毁竞争。这是不健康的。有哪些替代方案？

在攻击同行评审后，Animashree发布了几条评论:

“我非常担心为那些人工智能会议做出贡献的年轻人的情绪健康，而(同行评议)对他们有着巨大的影响。我们没有花足够的时间去关注它(论文)。我已经考虑过只在@arXiv_Daily上发表(论文)，让社区来决定论文对研究人员是否有用。”

她警告为#ICLR2020投稿的学生和作者不要在意评论者的观点。如果你相信自己的研究，你必须继续为之奋斗，并努力接受建设性的评审建议，但不要让评审者决定你的自我价值。

她对不专业的审稿人感到不满，并抨击了被选为同行审稿人的标准。

“ICLR2020同行评审中专家的自我评价很奇怪。无知的人自称是专家(通常来自特权阶层)，卑微的人不愿意这么做。我看到的是AC(接受)。教授把自己排在中间，本科生把自己排在专家。”

学界教授声援，同行评议制度在垮塌？

由于每个评审者的关注点不同，给出的分数也会有所不同。不过，峰会论文中有不少分数差距较大的论文。面对Animashree Anandkumar对同行审稿人的投诉，杜克大学的陈亦然教授也分享了自己的投稿经验:

加州大学伯克利分校教授马毅也在微博上表示支持:

“我已经明确地告诉我的学生，未来的工作扎实、深入，张贴到arxiv，将主要是期刊。大会方便试一次，错过也没关系。把会议当成科研写作的基础训练和入门要求。按照现在的发展趋势，所有所谓的顶级文章，尤其是AI领域的，很快就会被视为琐事。至少真正学习的地方和人不会再看重它了。当然，我也奉劝那些真正想学习的人，不要总想着去凑热闹，给自己带来耻辱。”

随后，@南大周志华教授在微博上发布了一张推特截图:“根据一个高层小组的信息，ICLR 2020有47%的评审者从未发表过这方面的论文。

。。。投稿量远大于合格审稿人所能承受的量(超负荷)，会导致上面一个个崩溃。。。也许最后我还得回到日记里去。"

虽然同行评议制度有其缺陷，但仍是目前论文评审的重要选择。关键在于如何让系统更可靠。

有学者说，解决这个问题的一个办法是对审稿人(通过论文作者、其他审稿人和区域主席)进行评分，并将这个评分数据公开，这样会彻底提高审稿人的积极性，给区域主席提供一个根据情况进行评审的工具。

Animashree Anandkumar回应道，“我们应该让审稿人承担责任。如果我们允许作者给出评分，给出较高评分的评论者会得到较高的评分，而不是给出客观评分的评论者。那能仅限于给AC(已接受)的审核人和其他审核人吗？我试图找出不道德的评论者，但这并不容易。”

清华大学教授认为，公开的评审机制可以在一定程度上纠正错误或不专业的评审意见。

然而，周志华教授也指出，开放评审只有在参与者是同等水平的专家时才有效，否则更容易被误导。“学术判断不能“谈平等”。全科医生和高水平专家的知识和判断是不一样的。顶会能“顶”正是因为有高水平的专家，现在不可能了。”

你对同行评议制度有什么看法？欢迎评论。

一个鸡蛋

值得一提的是，由于ICLR 2020大会今年取消了模糊分数，只有四档:拒绝(1)、弱拒绝(3)、弱接受(6)、接受(8)，导致今年的平均分低于往年。当然也有分数高的论文。推特用户@ankesh_anand整理了ICLR 2020年得分最高的11篇论文，得分均为8分:

背包:将更多东西装进背包

https://openreview.net/pdf? id = bjlrf 24 twb

代码:https://toiaydcdyywlhzvlob.github.io/backpack/

2、FreeLB:加强语言理解的对抗性训练

https://openreview.net/pdf? id = HkxlcnVFwB

3、GenDICE:平稳的广义离线估计

https://openreview.net/pdf? id = hkx VL 0 etdh

4、神经网络鲁棒性的因果观

https://openreview.net/pdf? id = hylst T4 fvb

5、计算约束下的有用信息理论

https://openreview.net/pdf? id = R1 ebeyhfdh

6、CATER:一个用于组合动作的诊断数据集& amp时间推理

https://openreview.net/pdf? id = hjgzt 2 vkpb

7、动态感知的无监督技能发现

https://openreview.net/forum? id = hjglzr 4k VH

8、基于Sharkovsky定理的ReLU网络的深度-宽度权衡

https://openreview.net/forum? id = bje 55 gbt VH

9、递归层次主题导向神经语言模型

https://openreview.net/pdf? id = bylw 1 rtvh

代码:https://drop.me/BbR8pr

10、关于生成性敌对网络的“可操纵性”

https://openreview.net/pdf? id = hylst T4 fvb

11、平稳市场:组织梯度学习者的基本机制

https://openreview.net/pdf? id = B1 xmeeryvb

(*本文为AI技术大本营原创文章，转载请联系微信1092722531)

◆

◆

2019中国大数据技术大会(BDTC)又来了！豪华的董事长阵容和数百位技术专家齐聚一堂，15场精选专题技术和行业论坛，超级干货+技术分析+行业实践立体解读，深度解析行业热点技术的实践。限时6.6折(减1400元)，学生票只要599元！