新智元報道
桃子好困
【新智元導讀】ACL首屆博士論文獎公布了,UC伯克利助理教授SewonMin摘桂冠!開幕式上,組委會公開了今年參會背景,提交論文的中國作者占全世界一半。ACL,如今成了中國的頂會?
ACL2025在維也納開幕了!
今年的ACL,可謂是座無虛席,盛況空前。開幕式上,組委會公布了今年參會的具體情況。
值得一提的是,論文里的中國作者已經(jīng)占據(jù)了半壁江山,比例超過51%。
其中,第一作者有高達51.3%來自大陸,排在第二的美國僅為14%。
ACL今年整體情況如下(主會議部分):
?1,700篇主會論文,1,400篇Findings論文,108篇產(chǎn)業(yè)論文
?17篇CL(ComputationalLinguistics)論文,40篇TACL(TransactionsofACL)論文
?2場主旨演講,1場專家小組討論
此外,頂會附屬活動還包括:28場workshop(投稿超800篇),8場教程(tutorial),64演示(demo),104篇學生研究工作(SRW)論文。
同在今天,首屆ACL「計算語言學博士論文獎」正式公布了。
來自UC伯克利EECS助理教授SewonMin,因論文RethinkingDataUseinLargeLanguageModels斬獲大獎。
7月初,她曾獲得了ACM博士論文獎榮譽提名
ACL成了中國頂會?
作為NLP領(lǐng)域A類頂會之一,ACL每年匯聚了世界各地學者,今年是第63屆年會。
回看過去十年,ACL總論文提交量增長了10倍,過去5年增長了4倍。
今年,頂會共提交了8360(8350)篇論文,其中主會錄用率為20.3%,共有1699篇論文。Findings錄用率為16.7%,共有1392篇論文。
相較于去年,論文總提交數(shù)量上漲了70%,審稿人共有5903人,上漲了38%。
更有趣的是,ACL桌拒比率比24年飆升160%。
從提交論文研究的領(lǐng)域來看,NLP應用(13.1%)位列第一,資源和評估占比12.4%,還有多模態(tài)和語言Grounding、語言建模等領(lǐng)域,成為了研究重點。
其他一些數(shù)據(jù)統(tǒng)計:
67%的論文標題和摘要中有「LLM」一詞,其中9%提及了GPT,8%提及了Llama,還有2%論文提及了DeepSeek、BERT、Gemini/Gemma。
50位作者提交了超過10篇論文,23%的作者提交了超2篇論文。
250篇論文有超10位作者,僅一位作者論文有20篇。
65%的論文標題里都有「:」!
目前,ACL最佳論文獎暫未公布,今年首次公布了「計算語言學博士論文獎」。
ACL首屆博士論文獎
這篇獲獎論文RethinkingDataUseinLargeLanguageModels,于2024年發(fā)表,全文長達157頁,是華盛頓大學SewonMin的博士畢業(yè)論文。
ACL組委會點評,這篇論文為大模型的行為和能力提供了關(guān)鍵見解,特別是在上下文學習方面。
其研究結(jié)果,對當今NLP的核心產(chǎn)生了影響。
論文地址:https://www.sewonmin.com/assets/Sewon_Min_Thesis.pdf
總的來說,這篇研究核心,重點圍繞LLM如何利用訓練時使用的的大量文本語料庫。
首先,作者揭示了這些模型在訓練后學習新任務的內(nèi)在機制——其所謂的上下文學習能力幾乎完全取決于從訓練數(shù)據(jù)中獲取的知識。
接著,她又提出了一類新型非參數(shù)化語言模型。
它們將訓練數(shù)據(jù)重新定位為可檢索的信息數(shù)據(jù)庫,從而顯著提升準確性與可更新性。
在此過程中,作者還開發(fā)首批廣泛應用的神經(jīng)檢索模型之一,以及將傳統(tǒng)兩階段流程簡化為單階段的創(chuàng)新方法。
研究表明,非參數(shù)化模型為負責任的數(shù)據(jù)使用開辟了新途徑。比如,通過對授權(quán)文本與受版權(quán)內(nèi)容的分類差異化處理。
最后,SewonMin對下一代語言模型的發(fā)展方向作出展望,強調(diào)高效Scaling、事實性增強、去中心化架構(gòu)這三大核心目標。
7月初,她的這篇論文,還獲得了ACM博士論文榮譽提名。在接受ACM采訪中,她首次暢談了選擇LLM領(lǐng)域原因,以及對當前AI領(lǐng)域的一些看法。
以下內(nèi)容,為采訪部分截取:
Q:你是如何決定將LLM作為研究方向的?
NLP領(lǐng)域的研究者長期致力于構(gòu)建「通用模型」——無需針對特定任務訓練就能處理多種任務。
當大語言模型出現(xiàn)時,其技術(shù)路徑是通過海量數(shù)據(jù)的自監(jiān)督訓練來構(gòu)建巨型模型,從而消除對人類監(jiān)督的依賴。
這似乎為實現(xiàn)該目標指明了一條道路。
這個理念簡單得令人沮喪,卻揭示了諸多關(guān)鍵要素:數(shù)據(jù)質(zhì)量與規(guī)模的核心作用、對人類先驗知識的最小化依賴、以及消除人工標注環(huán)節(jié)。以上是官方回答。
老實說,這個領(lǐng)域聽起來就令人興奮,而且研究過程充滿樂趣。如今該領(lǐng)域能產(chǎn)生如此廣泛而深遠的影響,我感到非常幸運。
Q:你在近期演講中提到,當前LLM生成人物傳記時,事實錯誤率高達42%。為何會出現(xiàn)這種情況?
我認為這與當前LLM基于記憶訓練數(shù)據(jù)的底層機制有關(guān)。
對于知名人士,模型能生成準確傳記,因為相關(guān)高頻出現(xiàn)于訓練數(shù)據(jù)中;但對于曝光不足的對象,模型往往無法準確回憶,轉(zhuǎn)而生成看似合理實則錯誤的文本(即幻覺現(xiàn)象)。
這反映了此類模型數(shù)據(jù)學習機制的核心局限。
Q:你在「非參數(shù)化」大語言模型領(lǐng)域取得突破性成果。能否舉例說明非參數(shù)化大語言模型與標準大語言模型在生成響應時的區(qū)別?
標準大語言模型常虛構(gòu)事實。例如,當我詢問無法聯(lián)網(wǎng)的ChatGPT「首爾有哪些米其林三星餐廳」時,它錯誤列舉了二星餐廳Gaon和已歇業(yè)的LaYeon,甚至編造營業(yè)時間——這反映出記憶知識的過時與缺失。
而非參數(shù)化大語言模型會從實時更新的數(shù)據(jù)存儲中檢索文檔(如2025年提到首爾唯一三星餐廳Mingles的文章),并基于這些文檔給出正確答案。
作者介紹
SewonMin是加州大學伯克利分校電子工程與計算機科學系的助理教授,同時也是艾倫人工智能研究所的研究科學家,并隸屬于伯克利人工智能研究實驗室和伯克利自然語言處理研究組。
她的研究方向是自然語言處理和機器學習,特別是在大語言模型領(lǐng)域——致力于深入理解并推動模型的發(fā)展,重點研究如何利用海量的文本語料庫。
此前,她在華盛頓大學獲得計算機科學與工程博士學位,在首爾大學獲得計算機科學與工程學士學位。曾擔任MetaFAIR的兼職訪問研究員,并先后在谷歌研究院和Salesforce研究院實習。
參考資料:
https://x.com/aclmeeting/status/1949836573144445424https://www.acm.org/articles/people-of-acm/2025/sewon-min
公認最好看的TOP5東方玄幻完結(jié)小說
熱血古典仙俠熱書集合,看完止不住熱血沸騰!