示凌
【導(dǎo)讀】GraphNarrator是Emory大學(xué)研究團(tuán)隊(duì)開發(fā)的首個(gè)為圖神經(jīng)網(wǎng)絡(luò)生成自然語言解釋的工具。通過構(gòu)造和優(yōu)化解釋偽標(biāo)簽,再將這些標(biāo)簽蒸餾到一個(gè)端到端模型中,使模型能直接輸出高質(zhì)量的自然語言解釋,讓復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)決策過程變得透明可理解,且在多個(gè)真實(shí)數(shù)據(jù)集上驗(yàn)證了其有效性。
圖神經(jīng)網(wǎng)絡(luò)(GNN)已成為處理結(jié)構(gòu)化數(shù)據(jù)的核心工具,廣泛應(yīng)用于社交網(wǎng)絡(luò)、藥物設(shè)計(jì)、金融風(fēng)控等場景。
然而,現(xiàn)有GNN的決策過程高度復(fù)雜,且常常缺乏透明度:為什么模型做出這樣的預(yù)測?關(guān)鍵依據(jù)在哪?這成為阻礙其大規(guī)模落地的重要瓶頸。
已有方法多基于「重要子圖提取」或「節(jié)點(diǎn)-邊歸因」,如GNNExplainer、PGExplainer等,但它們只能輸出結(jié)構(gòu)片段,不具備人類可讀性,且缺乏對文本屬性節(jié)點(diǎn)的處理能力(如文獻(xiàn)圖、商品圖)。
Emory大學(xué)的研究團(tuán)隊(duì)提出了首個(gè)面向圖神經(jīng)網(wǎng)絡(luò)的自然語言解釋生成器GraphNarrator,首次實(shí)現(xiàn)從GNN輸入輸出中,生成高質(zhì)量的自然語言解釋,讓圖神經(jīng)網(wǎng)絡(luò)從「黑盒模型」變?yōu)椤赣欣碛袚?jù)的決策體」。
GraphNarrator聚焦于一種重要的圖類型Text-AttributedGraphs(TAGs),即節(jié)點(diǎn)特征為自然語言文本(如論文摘要、商品介紹、疾病描述等)。
論文貢獻(xiàn)包括:
提出首個(gè)自然語言解釋框架,將TAG圖解釋從結(jié)構(gòu)層面擴(kuò)展至語言層;
統(tǒng)一結(jié)構(gòu)化與語言信息,橋接圖結(jié)構(gòu)推理與LLM理解能力;
開源工具鏈,提供高質(zhì)量偽標(biāo)簽構(gòu)造器+自監(jiān)督蒸餾方法,便于遷移至任意GNN任務(wù)。
論文第一作者為Emory大學(xué)博士生BoPan,長期從事圖學(xué)習(xí)與可解釋人工智能方向研究。
共同第一作者為USC碩士生ZhenXiong和Emory大學(xué)博士生GuanchenWu,通訊作者為Emory計(jì)算機(jī)系副教授LiangZhao。
該研究獲得ACL2025主會(huì)接收,提出首個(gè)面向圖神經(jīng)網(wǎng)絡(luò)的自然語言解釋生成器GraphNarrator。
讓GNN開口說話
GraphNarrator總體包含三步:
1.構(gòu)造解釋偽標(biāo)簽(Pseudo-labelGeneration)
使用saliency-based解釋方法提取「重要文本+關(guān)鍵鄰居節(jié)點(diǎn)」,形式是每個(gè)特征(節(jié)點(diǎn)、邊、token)的重要性。
將這些結(jié)構(gòu)轉(zhuǎn)化為結(jié)構(gòu)化Prompt,和問題與預(yù)測一起輸入GPT模型,生成可解釋偽標(biāo)簽。
2.優(yōu)化偽標(biāo)簽(FilteringviaExpert-DesignedCriteria)
通過兩大標(biāo)準(zhǔn)篩選質(zhì)量更高的偽標(biāo)簽:
忠實(shí)性(faithfulness):與模型預(yù)測一致,研究人員通過互信息(mutualinformation)的方式計(jì)算生成的文字解釋與輸入、輸出之間的忠實(shí)性。
簡潔性(conciseness):信息濃縮、可讀性強(qiáng),鼓勵(lì)長度更短
GraphNarrator通過專家迭代(ExpertIteration)同時(shí)優(yōu)化這兩個(gè)目標(biāo),確保教師模型(teachermodel)生成高質(zhì)量的解釋。
3.蒸餾解釋器(TrainingFinalExplainer)
將偽標(biāo)簽蒸餾進(jìn)一個(gè)端到端模型(文章中使用LlaMA3.18B),直接輸入圖結(jié)構(gòu)與文本,即可自動(dòng)輸出解釋語句。
忠實(shí)、可讀、用戶更愛看!數(shù)據(jù)集
研究人員在多個(gè)真實(shí)世界的Text-AttributedGraph(TAG)數(shù)據(jù)集上對GraphNarrator進(jìn)行了系統(tǒng)評估,包括:
Cora:論文引文圖,節(jié)點(diǎn)為論文,文本為摘要
DBLP:作者合作圖,文本為論文列表
PubMed:生物醫(yī)學(xué)文獻(xiàn)圖
對比方法:
各主流LLM(LLaMA3.1-8B、GPT?3.5、GPT?4o)Zero-shot生成解釋
SMV:基于GPT?4o的saliency解釋模板轉(zhuǎn)換方法
GraphNarrator(基于LLaMA3.1-8B)
評估目標(biāo)是檢驗(yàn)GraphNarrator生成的自然語言解釋是否忠實(shí)、準(zhǔn)確、可讀、受用戶喜愛。
評測結(jié)果
研究人員通過自動(dòng)方式和人工方式評測該方法生成的解釋質(zhì)量。
自動(dòng)評測中,GraphNarrator在Simulatability上全面領(lǐng)先(+8‐10%),證明解釋內(nèi)容高度還原了GNN預(yù)測;
PMI?10%覆蓋率提升顯著(平均+8.2%),表明能捕捉到最重要的token;Brevity(解釋長度/輸入長度)下降超13%,驗(yàn)證其「短小精煉」能力。
人工評測中,有計(jì)算語言學(xué)背景的評審從易讀性、洞察力、結(jié)構(gòu)信息、語義信息4個(gè)方向打分(1–7分制)。
結(jié)果表明各項(xiàng)均優(yōu)于GPT?4o、SMV,尤其在結(jié)構(gòu)理解上優(yōu)勢明顯(+33%),解釋更流暢、邏輯清晰,獲得真實(shí)用戶的更高信任。
晚清士人的報(bào)刊傳閱與布聞求新(蔣建國)
他家在山西,早年求學(xué)天津南開中學(xué),即受平津先進(jìn)思潮的影響;后在清華中文系是一個(gè)進(jìn)步的學(xué)生,參加“一二·九”運(yùn)動(dòng),騎著自行車奔跑游行阿伍兩頭,很活躍,曾兩次被捕;主編《清華周刊》,喜愛魯迅,閱讀《海上述林》,學(xué)習(xí)先進(jìn)的文藝論--。這一切,對他到昆明后的學(xué)習(xí)研究,無疑是有極重要的作用的——。他在經(jīng)歷了一到此結(jié)束了?。
但開風(fēng)氣不為師——胡適逝世六十周年祭
20 世紀(jì)90 年代陸續(xù)出版了兩種《中國道教史》,一卷本為任繼愈主編,四卷本為卿希泰主編,都是國家社科基金項(xiàng)目,卻沒有用多少篇幅談及關(guān)羽崇拜——_。2007 年我曾應(yīng)香港道教學(xué)院邀請,去做過三周短期講學(xué),也會(huì)晤了一些道教界的領(lǐng)袖人物。據(jù)他們說是國家宗教局將關(guān)公信仰定性為“民間崇拜”的。現(xiàn)在佛、道、儒三家各希望你能滿意--。
導(dǎo)游資格證考試
構(gòu)成本書的八課為:“博弈第一、滋味第二、聲文第三、肌理第四、玄思第五、情色地六、鄉(xiāng)愁第七、死亡第八”。為何是這八課?是因?yàn)樽髡呦嘈?,漢語古典詩學(xué)體系里的關(guān)鍵詞,也可用來總結(jié)中西古今詩歌的一些基本特征。對作品的細(xì)讀,是作者所長。書中精彩地分析了許多現(xiàn)代以來的詩,比如魯迅、卞之琳、馮至、紀(jì)弦、..
來源:紅網(wǎng)
作者:林佑霖
編輯:顏尋梅
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個(gè)人觀點(diǎn),不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。