猫眼电影
猫眼电影记者 李伟丰 报道首次登录送91元红包
衡宇 发自 凹非寺量子位 | 公众号 QbitAI
ICLR 2026,居然有21%的评审是纯纯由AI生成的?!
上面这个相当扎心的答案,来自Pangram实验室的分析报告。
这件事被发现的起因颇具戏剧色彩:CMU的AI研究员Graham Neubig,感觉自己收到的同行评审AI味超级重。
他之所以起疑心,是因为这些评审内容“非常冗长,且包含大量符号”,并且所要求的分析方式并非“审稿人通常在AI或ML论文中所要求的那种标准统计分析方式”。
做事嘛,不能光靠直觉,要真凭实据啦。
Graham Neubig自己干不了这个事儿,就在上发布了一个悬赏令,希望有人能做一轮系统性的检测,看ICLR的论文和审稿中到底夹杂了多少AI文本。
我愿意悬赏50美元,给第一个做了这件事的人~
Pangram实验室就是那个接黄榜的。
这个实验室的业务之一,正好是开发检测AI生成文本的工具。
结论简单粗暴:
75800条评审中,15899条高度疑似完全由AI生成,占比21%。大量论文正文中也检测出AI参与的痕迹,有的论文甚至大半字数都是AI的产出。
一个顶级AI学术会议,审稿和投稿两头都出现大规模AI代写……
是怎么测出“AI味”的?
Pangram这次对ICLR的全部提交论文和所有评审做了系统分析,并且在博客中公开了全过程。
他们先在OpenReview上,把ICLR 2026的数据全部拉了下来,总计约19490篇论文投稿,以及75800条审稿意见。
这些论文多为PDF格式,普通PDF解析工具面对公式、图表、行号、表格等内容时容易抽风,会干扰后续的文本分析。所以常规的PDF解析器,比如PyMuPDF就用不了了。
于是Pangram用OCR模型(他们用的是Mistral OCR) 把PDF转成Markdown,再统一转成纯文本,尽量减少格式噪音。
检测两类文本时,Pangram实验室用了两种不同的模型——
检测论文正文时,用的是extended text classifier。
具体流程是先把整篇论文按段落或语义片段切分成若干segment,判断每个segment“更像人写”还是“更像AI写”。
之后汇总结果,得到整篇论文中AI生成内容的大致比例,最后标记出“人类为主”“混合写作”“几乎完全AI生成”“极端outlier”等类别。
为了验证模型的准确程度,Pangram还拿2022年之前的ICLR论文和NeurIPS论文做了测试。
结果显示,这些论文由AI生成的概率是0%(尽管有部分论文用于模型训练)。
检测评审内容时,使用了新模型EditLens。
这个模型除了判断评审内容是否为AI生成外,还尝试判断AI在其中的参与程度。
分为五个级别:完全人工撰写、AI润色、中等程度AI编辑/辅助、AI重度参与、完全由AI生成。
在一个已知完全由人类撰写的对照语料上,EditLens把纯人类写作内容错判成AI润色过的内容的误报率,差不多是1/1000;错判成中等程度AI编辑/辅助内容的误报率是1/50000;错判成AI重度参与的错误率是1/100000。
回到实验室对ICLR 2026论文和评审的检测,结果如下。
有15899篇评审完全由AI生成,占评审总数的21%。
此外,超过一半的评审涉及不同程度的AI参与行为。
此外,61%的ICLR 2026论文是人工撰写的,但有199篇论文(占总数量的1%)完全由AI生成。
但实验室提到,部分完全由AI生成的论文,可能在此前已经被ICLR拒稿了,不会出现在OpenReview中。
AI顶会审稿正陷入一种奇妙的恶性循环
Pangram表示,他们做这个事情当然是因为有个悬赏贴在(doge),但并不是为了“点人名、批判某几个个体”,而是希望揭示一个趋势,一种现象。
ICLR 2026高级项目主席、康奈尔大学伊萨卡分校副教授Bharath Hariharan表示,这是ICLR首次大规模遇到此类问题。
ICLR开始用自动化工具,来评估提交的论文和同行评审是否违反了会议规定。
是的,其实ICLR对论文和评审中使用AI/禁止使用AI有非常清晰和详细的规定。
首先,如果使用了AI,必须披露,需要遵循“所有对研究的贡献都必须得到承认”和“贡献者应该期望……获得对其工作的认可”的道德准则政策。
其次,ICLR作者和评审者最终对其贡献负责,遵循“研究人员不得故意做出虚假或误导性声明,编造或篡改数据,或歪曲结果”的道德准则政策。
同时,ICLR还规定了作者在使用AI撰写论文和进行评审时应遵循的指南。
总结来说,论文作者可以用AI帮自己撰写论文,或者配合自己做研究,但必须声明自己使用了AI,并对论文的科学性和诚信负责。
同行可以用AI润色自己的评审,但纯用AI写评审可能违反道德准则,因为这既不是同行本人的观点而是外部意见,也违反了保密原则。
值得一提的是,Pangram实验室还把“AI 使用程度”和“评审分数”做了关联。
结果呈现出来的是两个相当微妙的趋势:
第一,论文中AI内容越多,平均收到的审稿评分就越低。
这可能意味着现阶段的AI写作,还是无法代替人类原创的论文的质量。
第二,审稿中AI参与程度越高,给出的评分就会越高。
换句话说,AI审稿更倾向于宽松友好的态度,评分就会偏高。
此外,AI生成的审稿内容往往字数较多,但信息密度低,建设性建议少,评论很多都很空洞,要不就是一堆车轱辘话。
这和以前 “长审稿=高质量审稿” 的情况完全相反。
而且论文作者们为了更好地rebuttal,一定会很认真地看评审意见。结果可能就是读了一些又长又没用的屁话,摊手。
这真的很消耗同行之间的信任。
怎么判断你得到的review是不是AI生成的?
Pangram实验室总结了一些AI生成的评审内容的特点,供大家参考,判断自己得到的review人工含量高不高。
先说标题。
AI生成的同行评审喜欢用粗体章节标题,标题往往由2-3个摘要标签组成,后面会跟冒号。
一个例子:
整体内容上,AI生成的评审内容总是吹毛求疵,没给出啥真正的分析。
这些评审基本都在关注表面问题。典型的AI评审内容包括提出让论文作者做更多已展示的消融实验、要求增加测试集大小或控制数量,或要求提供更多示例。
当然,最明显的就是说一些没啥用的片汤话,让人听君一席话,如听一席话那种。
不过,一个新的问题出现了。
正如芝加哥大学经济学家 Alex Imas最近一条推文中说的那样:
我们是否希望在同行评审中包含人类判断?
One More Thing
又有坑惨阶跃AI研究员的苹果论文,又有双盲评审制度一夜失效的bug,现在还有这么大规模的AI评审内容被揪出来……
今年的ICLR真的是抓马十足,而且开盒事件的余波还没有完全平息。
能理解大家知道是谁给自己的论文打低分后,情感上绝对会感觉到被背刺。
但事后值得关注的重中之重,还是“如何保证双盲评审能继续按规则施行”,任何顶会都不要再有这种惊天bug发生。
这关乎到整个学术共同体,是大家要一起面对的问题。
就像谢赛宁说的那样,“请务必善待我们的社区。它已经如此脆弱,请不要让它消亡。”
参考链接:[1]https://www.pangram.com/blog/pangram-predicts-21-of-iclr-reviews-are-ai-generated[2]https://www.nature.com/articles/d41586-025-03506-6
时事1:世界杯直播平台网站
12月23日,“文化为桥,民心相通”中俄艺术对话在莫斯科举行,数量上,下周跨元旦,政府债净缴款174亿元:(1)本周政府债净融资1748亿元,累计净融资137931亿元,净融资进度为96.1%,净缴款3708.9亿元;(2)下周跨年,政府债净融资174.49亿元,净缴款174.5亿元。,皇冠体育在线。
12月23日,【学习贯彻党的二十届四中全会精神】面向基层宣讲 推动全会精神深入人心,盛来运同时表示,目前外部形势仍然复杂严峻,国内正处在结构调整转型的关键阶段,市场经营主体的信心和经济回升的动力都需要进一步增强。下一步,要坚决贯彻落实党中央、国务院关于促进经济稳定发展的决策部署,进一步加大政策落实力度,固本培元,持续增强市场信心和经济运行动力,巩固和增强经济持续回升向好的基础。,世界杯(fifa)买球app下载,赌神牛报,大赢家官网下载。
时事2:官方版欢乐炸金花
12月23日,湖南电动汽车出口首次突破百亿元 前11月对东盟出口增逾5倍,在主题分享环节,英诺湖医药董事长夏明德博士以“MNC视角 vs. Biotech 实操:新周期下创新药资产的“价值兑现”与资本化路径”为题,深入解析了跨国药企与 Biotech 在BD交易,管线合作方面的关注点和可借鉴经验,为早期项目如何构建可被全球市场与资本同时认可的价值叙事提供了系统思路。,二八杠网上app,综合体育网球,真人AG每个网都一样吗。
12月23日,广西海上风电装备批量出口欧洲,李民:男,1972年10月出生。2020年4月起任国任保险首席营销官。2025年4月3日,经国任保险第五届董事会第二次临时会议审议通过,聘任李民为副总裁。目前尚待金融监管总局深圳监管局核准。曾任阳光保险集团电销事业部市场开发部总经理,阳光财险互联网事业部市场总监、总经理助理,易安保险副总经理。,亚新体育好玩吗?,速报比分,电子真钱平台。
时事3:赌场网址排行榜
12月23日,专家学者北京共话6G创新与应用:预计2030年商用,“从洛阳到开封,从开封到南阳,基本形成了一个遍及河南18个省辖市,处处开花的这样一种发展态势。其中,郑州作为交通枢纽,对周边城市的辐射带动效应也是不可替代的。”宋向清指出。,中国男篮世界杯买球,送彩金平台,彩票投注平台。
12月23日,海南自贸港启动全岛封关运作,这些新机遇与你我有关,福克斯新闻撰稿人乔·孔查(Joe Concha)也表示:“亲脸颊就好。或者给一个拥抱。这个就很奇怪,因为他们都知道摄像头在拍他们。”,赌钱下载手游,168下载,必威登录入口。
时事4:国际真人赢钱提现金的游戏
12月23日,广东自然岸线保有率逐年下降趋势得到根本性扭转,这也是为什么今天中方反复说,“中东是中东人民的中东,中东地区的命运应该掌握在中东各国人民手中”。虽然西方总是以小人之心抹黑中国意欲填补中东“权力真空”,但沙伊两国选择中国来斡旋恰恰说明,中东国家相信中国的一片公心,对这份善意格外珍视。,哪个平台玩球比较好,网络彩票平台大全,凯时网站怎么样。
12月23日,园来如此丨大降温+流感高发期,怎么防?,盛典之外,有无数开发者虽未站在聚光等下,但他们与鸿蒙始终站在一起。在《盛典之外》栏目中,来自多个领域的开发者向新浪财经讲述了他们的心路历程。这背后既有对国产操作系统情怀层面的支持,更有基于用户与市场的理性判断。,优博平台网址,金沙手机电子游戏app,完美国际平台。
责编:乔尔·富尔曼
审核:黄冠诚
责编:钟康秀












