李雅文

論文第一作者唐靈，張拳石老師課題組的博二學(xué)生。

今天要聊的是個硬核技術(shù)——如何給神經(jīng)網(wǎng)絡(luò)刻上抹不掉的"身份證"。現(xiàn)在大模型抄襲糾紛不斷，這事兒特別應(yīng)景。

所謂神經(jīng)網(wǎng)絡(luò)指紋技術(shù)，是指使用神經(jīng)網(wǎng)絡(luò)內(nèi)部如同人類指紋一樣的特異性信息作為身份標(biāo)識，用于判斷模型的所有權(quán)和來源。傳統(tǒng)方法都在玩"貼標(biāo)簽"：往模型里塞各種人造指紋。但問題是，模型微調(diào)（fine-tuning）就像給整容——參數(shù)一動，"整張臉"就變了，指紋自然就糊了。

面對神經(jīng)網(wǎng)絡(luò)微調(diào)訓(xùn)練的威脅，現(xiàn)有方案都在修修補補，而我們上升到理論層面重新思考：神經(jīng)網(wǎng)絡(luò)是否先天存在某種對微調(diào)魯棒的特征？如果存在，并將該固有特征作為網(wǎng)絡(luò)指紋，那么無論對模型參數(shù)如何微調(diào)，該指紋就能始終保持不變。在這一視角下，前人的探索較為有限，沒有從理論上證明出神經(jīng)網(wǎng)絡(luò)內(nèi)部對微調(diào)天然魯棒的特征。

論文標(biāo)題：TowardstheResistanceofNeuralNetworkWatermarkingtoFine-tuning

方法介紹

這里我們發(fā)現(xiàn)了一個顛覆性事實：卷積核的某些頻率成分根本不怕微調(diào)。就像給聲波做DNA檢測，我們把模型參數(shù)轉(zhuǎn)換到頻率域，找到了那些"焊死"在頻譜上的特征點——我們拓展了離散傅里葉變換，從而定義了神經(jīng)網(wǎng)絡(luò)一個卷積核所對應(yīng)的頻譜，并進一步證明：當(dāng)輸入特征僅包含低頻成分時，卷積核的某些特定頻率成分在微調(diào)過程中能夠保持穩(wěn)定。

實驗

最后，我們開展了一系列實驗，以評估所提出神經(jīng)網(wǎng)絡(luò)指紋方法對微調(diào)操作的魯棒性。實驗結(jié)果表明，相較于現(xiàn)有主流的模型指紋與模型溯源方法，在所有數(shù)據(jù)集和微調(diào)使用的學(xué)習(xí)率設(shè)置下，我們的方法在模型溯源任務(wù)中均取得了最優(yōu)表現(xiàn)，尤其在高學(xué)習(xí)率條件下展現(xiàn)出顯著優(yōu)勢。

好看的無限流小說,這幾本小說讓我通宵達旦,不看后悔系列!

白金大神晨星LL六部經(jīng)典小說,喜歡科幻廢土題材的書友不要錯過!

十二本高品質(zhì)完結(jié)小說:懸疑恐怖,廢土生存,火影同人、科幻進化