論文第一作者唐靈，張拳石老師課題組的博二學(xué)生。
今天要聊的是個硬核技術(shù)——如何給神經(jīng)網(wǎng)絡(luò)刻上抹不掉的"身份證"。現(xiàn)在大模型抄襲糾紛不斷，這事兒特別應(yīng)景。
所謂神經(jīng)網(wǎng)絡(luò)指紋技術(shù)，是指使用神經(jīng)網(wǎng)絡(luò)內(nèi)部如同人類指紋一樣的特異性信息作為身份標(biāo)識，用于判斷模型的所有權(quán)和來源。傳統(tǒng)方法都在玩"貼標(biāo)簽"：往模型里塞各種人造指紋。但問題是，模型微調(diào)（fine-tuning）就像給整容——參數(shù)一動，"整張臉"就變了，指紋自然就糊了。
面對神經(jīng)網(wǎng)絡(luò)微調(diào)訓(xùn)練的威脅，現(xiàn)有方案都在修修補(bǔ)補(bǔ)，而我們上升到理論層面重新思考：神經(jīng)網(wǎng)絡(luò)是否先天存在某種對微調(diào)魯棒的特征？如果存在，并將該固有特征作為網(wǎng)絡(luò)指紋，那么無論對模型參數(shù)如何微調(diào)，該指紋就能始終保持不變。在這一視角下，前人的探索較為有限，沒有從理論上證明出神經(jīng)網(wǎng)絡(luò)內(nèi)部對微調(diào)天然魯棒的特征。
論文地址：https://arxiv.org/pdf/2505.01007論文標(biāo)題：TowardstheResistanceofNeuralNetworkWatermarkingtoFine-tuning
方法介紹
這里我們發(fā)現(xiàn)了一個顛覆性事實(shí)：卷積核的某些頻率成分根本不怕微調(diào)。就像給聲波做DNA檢測，我們把模型參數(shù)轉(zhuǎn)換到頻率域，找到了那些"焊死"在頻譜上的特征點(diǎn)——我們拓展了離散傅里葉變換，從而定義了神經(jīng)網(wǎng)絡(luò)一個卷積核所對應(yīng)的頻譜，并進(jìn)一步證明：當(dāng)輸入特征僅包含低頻成分時，卷積核的某些特定頻率成分在微調(diào)過程中能夠保持穩(wěn)定。
實(shí)驗(yàn)
最后，我們開展了一系列實(shí)驗(yàn)，以評估所提出神經(jīng)網(wǎng)絡(luò)指紋方法對微調(diào)操作的魯棒性。實(shí)驗(yàn)結(jié)果表明，相較于現(xiàn)有主流的模型指紋與模型溯源方法，在所有數(shù)據(jù)集和微調(diào)使用的學(xué)習(xí)率設(shè)置下，我們的方法在模型溯源任務(wù)中均取得了最優(yōu)表現(xiàn)，尤其在高學(xué)習(xí)率條件下展現(xiàn)出顯著優(yōu)勢。
NBA歷史三大“千勝球員”至今無人超越
2.7 ? 鞏曉彬的山東傳奇盡管鞏曉彬的籃球生涯僅跨越了18個年頭，但他卻成為了山東男籃的傳奇。在甲A聯(lián)賽的舞臺上，他展現(xiàn)出了卓越的實(shí)力，以得分王和最佳球員的稱號成為山東男籃傳奇，讓無數(shù)球迷為之傾倒。2.8 ? 巴特爾的榮譽(yù)歷史接下來，我們來看看另一位實(shí)力非凡的球員——巴特爾。巴特爾被譽(yù)為“三大等我繼續(xù)說。
邁克爾·喬丹:籃球之神的傳奇生涯與不朽輝煌
成為了籃球史上最值得敬仰的球員之一。這四位球員都各自有著獨(dú)特的籃球天賦和卓越的表現(xiàn)，任何時代中都能稱為第一人_-。雖然沒有喬丹，他們都有能力爭取歷史第一人的地位——。然而，歷史終將回歸事實(shí)，喬丹無疑是籃壇巔峰的代表，他的成就和影響力將永遠(yuǎn)被銘記于籃球史上。
中國籃壇的五位傳奇人物,姚明僅僅排名第二,第一曾擊敗美國隊(duì)...
在美國，有一個被譽(yù)為“公園戰(zhàn)神”的球員，他并非職業(yè)籃球運(yùn)動員，卻以公園球場為戰(zhàn)場，展現(xiàn)了他非凡的籃球天賦——。厄爾-麥尼考爾特，這位公園的王者，雖未踏入職業(yè)籃壇，但他的實(shí)力卻足以讓任何職業(yè)球員感到畏懼_。他的籃球生涯雖充滿坎坷，但他對籃球的熱愛與執(zhí)著卻讓他成為了街頭籃球的傳奇——?！緦@球的執(zhí)著】在后面會介紹。
延伸閱讀：與 抗微調(diào)神經(jīng)網(wǎng)絡(luò)指紋的硬核方案來：了？ 的相關(guān)文章
DECO*27 - Cherry Pop feat. Hatsune Miku
網(wǎng)友曝山姆多款產(chǎn)品偷偷減重，紫色抽紙 3 年縮水 8%，為什么會出現(xiàn)？暴露出山姆現(xiàn)在經(jīng)營存在哪些問題？
山東女正廳襲燕主動投案
杭州真好玩 下次再也不去了
廣西亮證逼迫讓路事件，涉事司機(jī)稱民警要求刪除視頻并向「亮證者」道歉，是真的嗎？怎樣從法律角度解讀？
因顏值被質(zhì)疑實(shí)力，女飛行員徐楓燦回應(yīng)：會更好做好本職
深情眼大結(jié)局
男子與軍人配偶同居致其懷孕
一個做了幾百期抗日神劇視頻的UP看完《南京照相館》的感受
警方通報(bào)男子遭奔馳司機(jī)亮證逼讓路
