搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

居然有21%的ICLR 2026评审纯用AI生成…

2025-12-24 12:39:27
来源:

猫眼电影

作者:

希策尔斯佩格

手机查看

  猫眼电影记者 张卫元 报道首次登录送91元红包

衡宇 发自 凹非寺量子位 | 公众号 QbitAI

ICLR 2026,居然有21%的评审是纯纯由AI生成的?!

上面这个相当扎心的答案,来自Pangram实验室的分析报告。

这件事被发现的起因颇具戏剧色彩:CMU的AI研究员Graham Neubig,感觉自己收到的同行评审AI味超级重。

他之所以起疑心,是因为这些评审内容“非常冗长,且包含大量符号”,并且所要求的分析方式并非“审稿人通常在AI或ML论文中所要求的那种标准统计分析方式”。

做事嘛,不能光靠直觉,要真凭实据啦。

Graham Neubig自己干不了这个事儿,就在上发布了一个悬赏令,希望有人能做一轮系统性的检测,看ICLR的论文和审稿中到底夹杂了多少AI文本。

我愿意悬赏50美元,给第一个做了这件事的人~

Pangram实验室就是那个接黄榜的。

这个实验室的业务之一,正好是开发检测AI生成文本的工具。

结论简单粗暴:

75800条评审中,15899条高度疑似完全由AI生成,占比21%。大量论文正文中也检测出AI参与的痕迹,有的论文甚至大半字数都是AI的产出。

一个顶级AI学术会议,审稿和投稿两头都出现大规模AI代写……

是怎么测出“AI味”的?

Pangram这次对ICLR的全部提交论文和所有评审做了系统分析,并且在博客中公开了全过程。

他们先在OpenReview上,把ICLR 2026的数据全部拉了下来,总计约19490篇论文投稿,以及75800条审稿意见。

这些论文多为PDF格式,普通PDF解析工具面对公式、图表、行号、表格等内容时容易抽风,会干扰后续的文本分析。所以常规的PDF解析器,比如PyMuPDF就用不了了。

于是Pangram用OCR模型(他们用的是Mistral OCR) 把PDF转成Markdown,再统一转成纯文本,尽量减少格式噪音。

检测两类文本时,Pangram实验室用了两种不同的模型——

检测论文正文时,用的是extended text classifier。

具体流程是先把整篇论文按段落或语义片段切分成若干segment,判断每个segment“更像人写”还是“更像AI写”。

之后汇总结果,得到整篇论文中AI生成内容的大致比例,最后标记出“人类为主”“混合写作”“几乎完全AI生成”“极端outlier”等类别。

为了验证模型的准确程度,Pangram还拿2022年之前的ICLR论文和NeurIPS论文做了测试。

结果显示,这些论文由AI生成的概率是0%(尽管有部分论文用于模型训练)。

检测评审内容时,使用了新模型EditLens。

这个模型除了判断评审内容是否为AI生成外,还尝试判断AI在其中的参与程度。

分为五个级别:完全人工撰写、AI润色、中等程度AI编辑/辅助、AI重度参与、完全由AI生成。

在一个已知完全由人类撰写的对照语料上,EditLens把纯人类写作内容错判成AI润色过的内容的误报率,差不多是1/1000;错判成中等程度AI编辑/辅助内容的误报率是1/50000;错判成AI重度参与的错误率是1/100000。

回到实验室对ICLR 2026论文和评审的检测,结果如下。

有15899篇评审完全由AI生成,占评审总数的21%。

此外,超过一半的评审涉及不同程度的AI参与行为。

此外,61%的ICLR 2026论文是人工撰写的,但有199篇论文(占总数量的1%)完全由AI生成。

但实验室提到,部分完全由AI生成的论文,可能在此前已经被ICLR拒稿了,不会出现在OpenReview中。

AI顶会审稿正陷入一种奇妙的恶性循环

Pangram表示,他们做这个事情当然是因为有个悬赏贴在(doge),但并不是为了“点人名、批判某几个个体”,而是希望揭示一个趋势,一种现象。

ICLR 2026高级项目主席、康奈尔大学伊萨卡分校副教授Bharath Hariharan表示,这是ICLR首次大规模遇到此类问题。

ICLR开始用自动化工具,来评估提交的论文和同行评审是否违反了会议规定。

是的,其实ICLR对论文和评审中使用AI/禁止使用AI有非常清晰和详细的规定。

首先,如果使用了AI,必须披露,需要遵循“所有对研究的贡献都必须得到承认”和“贡献者应该期望……获得对其工作的认可”的道德准则政策。

其次,ICLR作者和评审者最终对其贡献负责,遵循“研究人员不得故意做出虚假或误导性声明,编造或篡改数据,或歪曲结果”的道德准则政策。

同时,ICLR还规定了作者在使用AI撰写论文和进行评审时应遵循的指南。

总结来说,论文作者可以用AI帮自己撰写论文,或者配合自己做研究,但必须声明自己使用了AI,并对论文的科学性和诚信负责。

同行可以用AI润色自己的评审,但纯用AI写评审可能违反道德准则,因为这既不是同行本人的观点而是外部意见,也违反了保密原则。

值得一提的是,Pangram实验室还把“AI 使用程度”和“评审分数”做了关联。

结果呈现出来的是两个相当微妙的趋势:

第一,论文中AI内容越多,平均收到的审稿评分就越低。

这可能意味着现阶段的AI写作,还是无法代替人类原创的论文的质量。

第二,审稿中AI参与程度越高,给出的评分就会越高。

换句话说,AI审稿更倾向于宽松友好的态度,评分就会偏高。

此外,AI生成的审稿内容往往字数较多,但信息密度低,建设性建议少,评论很多都很空洞,要不就是一堆车轱辘话。

这和以前 “长审稿=高质量审稿” 的情况完全相反。

而且论文作者们为了更好地rebuttal,一定会很认真地看评审意见。结果可能就是读了一些又长又没用的屁话,摊手。

这真的很消耗同行之间的信任。

怎么判断你得到的review是不是AI生成的?

Pangram实验室总结了一些AI生成的评审内容的特点,供大家参考,判断自己得到的review人工含量高不高。

先说标题。

AI生成的同行评审喜欢用粗体章节标题,标题往往由2-3个摘要标签组成,后面会跟冒号。

一个例子:

整体内容上,AI生成的评审内容总是吹毛求疵,没给出啥真正的分析。

这些评审基本都在关注表面问题。典型的AI评审内容包括提出让论文作者做更多已展示的消融实验、要求增加测试集大小或控制数量,或要求提供更多示例。

当然,最明显的就是说一些没啥用的片汤话,让人听君一席话,如听一席话那种。

不过,一个新的问题出现了。

正如芝加哥大学经济学家 Alex Imas最近一条推文中说的那样:

我们是否希望在同行评审中包含人类判断?

One More Thing

又有坑惨阶跃AI研究员的苹果论文,又有双盲评审制度一夜失效的bug,现在还有这么大规模的AI评审内容被揪出来……

今年的ICLR真的是抓马十足,而且开盒事件的余波还没有完全平息。

能理解大家知道是谁给自己的论文打低分后,情感上绝对会感觉到被背刺。

但事后值得关注的重中之重,还是“如何保证双盲评审能继续按规则施行”,任何顶会都不要再有这种惊天bug发生。

这关乎到整个学术共同体,是大家要一起面对的问题。

就像谢赛宁说的那样,“请务必善待我们的社区。它已经如此脆弱,请不要让它消亡。”

参考链接:[1]https://www.pangram.com/blog/pangram-predicts-21-of-iclr-reviews-are-ai-generated[2]https://www.nature.com/articles/d41586-025-03506-6

 时事1:苹果怎么买足球

  12月24日,2025-2026赛季中国冰壶联赛收官,公摊面积之所以常被诟病,一方面是因为其内涵、计算方式太过于专业复杂,且标准不统一,购房人难以弄明白,也不愿为“看不见”的面积多花“冤枉钱”;另一方面,是因为随着更多高层、高档楼盘入市,在房价本就相对较高的一二线城市,购房者需要为公摊面积花费更多购房款。,牛宝体育。

  12月24日,轻舟货运飞船初样件已完成多项关键技术验证:中国空间站将迎来 “商业化货运”时代,忐忑地尝到了“糖衣炮弹”的“甜味”后,靳东每次都泰然自若地收下商人老板们送上的“大礼包”,丝毫没有想到党纪国法绝非“橡皮泥”和“稻草人”,容不得任何人藐视和践踏。,ag电玩城游戏大厅,世界杯买球as83典me,365bet唯一授权。

 时事2:炸金花正规官网

  12月24日,多地气温“滑梯式”下跌 多部门协同细化服务全力保障百姓生产生活,公开资料显示,作为全链条液冷的开创者,英维克从冷板、快速接头、Manifold、CDU、机柜,到SoluKing长效液冷工质、管路、冷源等“端到端”的产品覆盖,从服务器制造工厂,到数据中心运行现场的“厂到场”交付场景覆盖,英维克全链条液冷的产品和服务不断延伸。公司通过自主研发、自主生产、自主交付、自主服务,全面保障液冷系统运行。,大发下载地址,九线拉王水果机,必威官方网页版。

  12月24日,中国传媒大学视听艺术研究中心发布报告:微短剧赋能千行百业,是全民共创共享的文艺新形态、文化新载体,当天,台湾北部与中部地区都遭到大雷雨侵扰,各地区发生大树倒塌、变电箱爆炸等灾情,还有飞机航班遭雷击,所幸都平安降落。晚间,台北101大楼也被闪电击中,有民众拍摄到大楼遭受雷击的罕见瞬间,原本只有微弱灯光的天空,在雷击中台北101时,紫光瞬间照亮整个城市,让不少网友惊叹。报道称,台北101大楼配备避雷设施,雷击对建筑物本体并无影响。,百老汇app下载,天亿棋牌,足球大小球分析软件。

 时事3:H188和记

  12月24日,福建泉州:木偶巡游快闪走进古街区,本次吸收合并交易的现金对价港币24.60元/股,对复宏汉霖H股不受干扰交易日(即 2024 年 5 月 21 日)收盘价18.00港元的溢价为36.67%;对前30个交易日的溢价为52.04%。本次吸收合并现金对价合计不超过约54.07亿港元或等值人民币。,BETVLCTOR伟德在线登录平台,10Bet十博APP,贝博bell登陆入口。

  12月24日,成都升仙湖公园水杉林染“红妆”引游人,靳东平时善于伪装,身边人所不知道的是,早在2009年上半年,时任小金县委常委、县政府常务副县长的靳东便收受了项目承建商姜某某送上的一张内有20万元的存折,这是他人生中第一次收受大额贿赂。而姜某某如此“大方”,主要是因为在靳东的帮助下,姜某某以580余万元的价格顺利拿下了小金县某还建房工程,获得不菲利润。,365官网手机正版下载,世界杯买球软件,世界杯投注平台违法。

 时事4:综合体育平台

  12月24日,福州:暖阳相伴 游客夏装出行,俄罗斯高等经济学院教授安德烈·卡赞采夫说,首届中国-中亚峰会将在西安举行,表明中国在中亚的影响力越来越大,但这与俄罗斯在该地区的政策并不矛盾,因此不会看到两国为争夺中亚而展开激烈角逐。俄中在中亚的根本利益是一致的。中亚各国与中国的合作不是为了激怒俄罗斯,而是为了改善自身的政治和经济地位。,正规分分彩网站有哪些,网上购彩客户端,tvt体育平台提现不了。

  12月24日,两部门发布12月份全国自然灾害风险形势,前述在加纳从事手机生意的人士告诉《中国新闻周刊》,非洲市场的差异比较大,刚果(金)、加纳属于人均GDP较低的国家,而在南非、肯尼亚等国,当地消费者已经能接受单价较高的手机。即便如此,更多消费者也只会购买100美元左右的智能手机。,pt游戏官网,365bet正版,永乐国际平台官网。

责编:蓝天和

审核:管祥斌

责编:吴忧

相关推荐 换一换