林淑琦
新智元報(bào)道
KingHZ桃子
【新智元導(dǎo)讀】LLM真是把審稿人害慘了!NeurIPS2025評(píng)審結(jié)果公,全網(wǎng)都被「誰(shuí)是Adam」爆梗淹沒(méi)。更離譜的是,有人的審稿建議中,殘留了AI提示的痕跡。
這幾天,NeurIPS2025的評(píng)審結(jié)果,陸續(xù)出爐了!
讓人措不及防的是,「Who'sAdam」明晃晃地出現(xiàn)在了一位作者的審稿建議中,成為近來(lái)學(xué)術(shù)圈最大的笑柄。
究竟是大模型不懂,還是審稿人疏忽了?
這么低級(jí)的錯(cuò)誤,讓AI圈內(nèi)人直呼:離了大譜!
網(wǎng)友辣評(píng):審稿人會(huì)使用LLM,你就偷著樂(lè)吧;如果不使用GPT審稿,他們可能連領(lǐng)域內(nèi)的基本常識(shí)都不了解!
「Who'sAdam」依舊在發(fā)酵的同時(shí),NeurIPS還有更離譜的事發(fā)生了。
得克薩斯農(nóng)工大學(xué)計(jì)算機(jī)系任助理教授涂正中(ZhengzhongTu)稱,自己的審稿建議中,提示詞沒(méi)有刪干凈。
不過(guò),研究科學(xué)家DamienTeney表示可能只是復(fù)制錯(cuò)地方了。
研究LLM遷移學(xué)習(xí)的博士生Dylan也發(fā)現(xiàn)自己提交的論文,可能沒(méi)有被認(rèn)真對(duì)待。
審稿人只是讓AI總結(jié)了內(nèi)容,并做了接收與否的決定。
或許,是時(shí)候該反思學(xué)術(shù)界的游戲規(guī)則了。
NeurIPS評(píng)審爆猛料,全網(wǎng)吵翻了
這屆NeurIPS評(píng)審,全網(wǎng)吐槽滿天飛。
近年來(lái),論文評(píng)審的質(zhì)量一直在下降。原因主要有兩種:
其一是,論文數(shù)量的增加,大模型加速迭代,協(xié)助研究者、初創(chuàng)公司撰寫論文,產(chǎn)出效率大增。
其次,優(yōu)秀的研究人員更專注于模型開發(fā)和創(chuàng)業(yè),而非論文評(píng)審。
正因如此,才鬧出了「Adam是誰(shuí)」的大笑話。
在AI領(lǐng)域,Adam是深度學(xué)習(xí)中最常見(jiàn)的優(yōu)化方法之一,論文被引次數(shù)高達(dá)220991。
對(duì)此,著名機(jī)器學(xué)習(xí)研究員DanRoy張口大罵,「NeurIPS評(píng)審現(xiàn)如今就是垃圾」!
從事AI系統(tǒng)工作的HanchenLi開玩笑:是不是英文名改成Adam,明年就能被NeurIPS引用了?
審稿人告急,還有DDL
另一方面,能夠出現(xiàn)如此荒謬的評(píng)審,還與NeurIPS的規(guī)定相關(guān)——
參與審稿的AI研究員必須在截止日期前完成,否則他們自己的論文直接被NeurIPS拒掉。
有的人就是趕在DDL前,匆忙審稿。
由于審稿人手不夠,今年,NeurIPS組委會(huì)親自招募更多的審稿人。
紐約大學(xué)助理教授RavidShwartzZiv嘲諷道,「NeurIPS真正的創(chuàng)新之處:領(lǐng)域主席們(AC)在不知不覺(jué)中運(yùn)營(yíng)著史上最大規(guī)模的LLM基準(zhǔn)評(píng)測(cè)」。
另一位網(wǎng)友吐槽道,這是NeurIPS評(píng)審的新低點(diǎn)。
會(huì)議審稿質(zhì)量在下降,這大家都知道,但這次NeurIPS評(píng)審太離譜了。
VladLialin看到一條神評(píng)論:「什么是前向傳播」。他認(rèn)為如果不解決審稿問(wèn)題,那NeurIPS論文將毫無(wú)可行度,跟無(wú)人評(píng)審的論文沒(méi)什么兩樣。
高級(jí)機(jī)器學(xué)習(xí)工程師、Keras3合作者AakashKumarNain表示如果不對(duì)認(rèn)真處理類似問(wèn)題,他以后不會(huì)對(duì)學(xué)術(shù)會(huì)議的質(zhì)量抱有任何希望。
一位亞馬遜工程師挖出了,2015年Hinton和谷歌團(tuán)隊(duì)一篇關(guān)于「蒸餾」技術(shù)被NeurIPS拒收的論文。
而如今,「蒸餾」成為當(dāng)前最火的訓(xùn)練策略。DistillingtheKnowledgeinaNeuralNetwork這篇被引數(shù)超26000次。
從事多模態(tài)研究的WeijianLuo,在NeurIPS2023上發(fā)表了學(xué)術(shù)生涯中的前4篇論文。
NeurIPS這對(duì)他意義重大,但這次的審稿質(zhì)量之低令他沮喪。
他表示是時(shí)候認(rèn)真解決文章評(píng)審問(wèn)題了。
微軟研究員SaharAbdelnabi稱NeurIPS的評(píng)審意見(jiàn)充滿敵意、毫無(wú)根據(jù)、完全不具建設(shè)性,比用LLM生成評(píng)審意見(jiàn)還要糟糕。
她建議NeurIPS學(xué)習(xí)安全會(huì)議,加入善意評(píng)審指南。
審稿人和作者,雙雙糊弄?
評(píng)審結(jié)果不盡人意,你以為只是審稿人的問(wèn)題嗎?
有的研究人員需要一個(gè)亮眼的成績(jī)單,利用LLM大量產(chǎn)出論文,何嘗不是一大問(wèn)題呢?
有審稿人爆料稱,「自己審了5篇論文,體驗(yàn)簡(jiǎn)直糟糕透頂」。
第一篇明顯是LLM生成的。篇幅過(guò)短,參考文獻(xiàn)失效,既無(wú)實(shí)驗(yàn)也無(wú)理論支撐,還充斥大量低級(jí)錯(cuò)誤。越讀越覺(jué)得不知所云
有兩篇根本是同一篇論文!有人把相同內(nèi)容改了兩個(gè)標(biāo)題重復(fù)投稿
其中一篇略有新意,但使用了奇怪的數(shù)據(jù)集——后來(lái)發(fā)現(xiàn)完全是他們公司內(nèi)部未公開的私有數(shù)據(jù),完全無(wú)法復(fù)現(xiàn)結(jié)果
只有最后一篇還算像樣
研究過(guò)AI+經(jīng)濟(jì)的AffaanMustafa,對(duì)學(xué)界發(fā)生到底發(fā)生了什么,非常疑惑。
一方面,為了獲得好評(píng),投稿論文注入了系統(tǒng)提示詞;另一方面,NeurIPS使用系統(tǒng)提示詞來(lái)審稿并為論文打分。
這兩端都充滿了AI生成的垃圾內(nèi)容。
Rebuttal最佳指南
不論是什么結(jié)果,評(píng)審意見(jiàn)出了之后,下一步就是Rebuttal階段了。
那么,作者們?nèi)绾巫?,能夠?yàn)樽约黑A回更多的勝率呢?
此前,AI初創(chuàng)CEODeviParikh寫過(guò)一篇指南,提供了18種技巧,涉及的案例非常豐富,屬于必收藏的系列。
接下來(lái),一起看看都有哪些能實(shí)際幫助到的Rebuttal策略吧。
1.逐條列出審稿人意見(jiàn)
用一個(gè)順手的電子表格來(lái)整理每位審稿人提出的具體評(píng)論、問(wèn)題或疑慮。
將所有內(nèi)容并列一處,有助于我們識(shí)別共同關(guān)注點(diǎn),并避免意外遺漏。請(qǐng)盡快完成這一步,以便及早確定是否需要進(jìn)行新的實(shí)驗(yàn)(如果會(huì)議允許)或分析。
2.集思廣益,羅列可能的回應(yīng)
在表格中為每位作者預(yù)留一列,用于回應(yīng)各審稿人的意見(jiàn)。在此處用草稿形式寫下所有想法,無(wú)需顧及文采或篇幅。說(shuō)服力和簡(jiǎn)潔性是通過(guò)做減法來(lái)實(shí)現(xiàn)的。
3.撰寫Rebuttal草稿
將表格中達(dá)成的共識(shí),轉(zhuǎn)化為Rebuttal草稿中的具體回應(yīng)。寫作時(shí)力求簡(jiǎn)潔,但暫時(shí)不必?fù)?dān)心篇幅限制。要覆蓋到每一個(gè)要點(diǎn),刪減和調(diào)整優(yōu)先級(jí)可以留到后面處理。
4.審查和修改
重讀最初的審稿意見(jiàn)和你們整理的表格,確保所有問(wèn)題都得到了回應(yīng)。優(yōu)先處理主要的疑慮,并著手刪改以滿足篇幅要求。
鑒于此,我們必須清楚,是為誰(shuí)而寫,目標(biāo)又是什么。
審稿人和領(lǐng)域主席(AC),是最主要的目標(biāo)。
對(duì)于審稿人:澄清疑慮、回答問(wèn)題、糾正誤解、Rebuttal不準(zhǔn)確的評(píng)價(jià),并真誠(chéng)地努力采納反饋、改進(jìn)你的工作。
對(duì)于AC:說(shuō)服他們你已做出真誠(chéng)的努力;呈現(xiàn)一份有代表性的審稿意見(jiàn)摘要;幫助他們判斷審稿人的疑慮是否已得到解決;指出不公正的審稿行為;并最終,幫助他們做出決定。
根據(jù)作者的經(jīng)驗(yàn),研究界的大多數(shù)新成員只關(guān)注(1),而忽略了(2),下面是一個(gè)實(shí)操案例:
一定要開門見(jiàn)山。
首先對(duì)評(píng)審意見(jiàn)進(jìn)行總結(jié)性概述,重點(diǎn)突出審稿人對(duì)個(gè)人工作的積極評(píng)價(jià)。
雖然Rebuttal主要針對(duì)需要回應(yīng)的負(fù)面意見(jiàn),但切勿讓評(píng)審委員會(huì)在審閱過(guò)程中忽略研究的優(yōu)勢(shì)。
NeurIPS2025評(píng)審結(jié)果如何?來(lái)評(píng)論區(qū)聊聊。
參考資料:
https://x.com/2prime_PKU/status/1948549824594485696
https://x.com/_vztu/status/1948875694122975351
https://x.com/gabriberton/status/1948726822897701065
https://x.com/pratikramesh7/status/1948397645128507573
來(lái)源:紅網(wǎng)
作者:郗清卓
編輯:謝美珍
本文為紅辣椒評(píng)論 原創(chuàng)文章,僅系作者個(gè)人觀點(diǎn),不代表紅網(wǎng)立場(chǎng)。轉(zhuǎn)載請(qǐng)附原文出處鏈接和本聲明。