論文第一作者唐靈,張拳石老師課題組的博二學生。
今天要聊的是個硬核技術——如何給神經(jīng)網(wǎng)絡刻上抹不掉的"身份證"。現(xiàn)在大模型抄襲糾紛不斷,這事兒特別應景。
所謂神經(jīng)網(wǎng)絡指紋技術,是指使用神經(jīng)網(wǎng)絡內(nèi)部如同人類指紋一樣的特異性信息作為身份標識,用于判斷模型的所有權和來源。傳統(tǒng)方法都在玩"貼標簽":往模型里塞各種人造指紋。但問題是,模型微調(diào)(fine-tuning)就像給整容——參數(shù)一動,"整張臉"就變了,指紋自然就糊了。
面對神經(jīng)網(wǎng)絡微調(diào)訓練的威脅,現(xiàn)有方案都在修修補補,而我們上升到理論層面重新思考:神經(jīng)網(wǎng)絡是否先天存在某種對微調(diào)魯棒的特征?如果存在,并將該固有特征作為網(wǎng)絡指紋,那么無論對模型參數(shù)如何微調(diào),該指紋就能始終保持不變。在這一視角下,前人的探索較為有限,沒有從理論上證明出神經(jīng)網(wǎng)絡內(nèi)部對微調(diào)天然魯棒的特征。
論文地址:https://arxiv.org/pdf/2505.01007論文標題:TowardstheResistanceofNeuralNetworkWatermarkingtoFine-tuning
方法介紹
這里我們發(fā)現(xiàn)了一個顛覆性事實:卷積核的某些頻率成分根本不怕微調(diào)。就像給聲波做DNA檢測,我們把模型參數(shù)轉換到頻率域,找到了那些"焊死"在頻譜上的特征點——我們拓展了離散傅里葉變換,從而定義了神經(jīng)網(wǎng)絡一個卷積核所對應的頻譜,并進一步證明:當輸入特征僅包含低頻成分時,卷積核的某些特定頻率成分在微調(diào)過程中能夠保持穩(wěn)定。
實驗
最后,我們開展了一系列實驗,以評估所提出神經(jīng)網(wǎng)絡指紋方法對微調(diào)操作的魯棒性。實驗結果表明,相較于現(xiàn)有主流的模型指紋與模型溯源方法,在所有數(shù)據(jù)集和微調(diào)使用的學習率設置下,我們的方法在模型溯源任務中均取得了最優(yōu)表現(xiàn),尤其在高學習率條件下展現(xiàn)出顯著優(yōu)勢。
游戲:LOL中有這么一群人,他們被稱之為“演員”
在英雄聯(lián)盟中有著這么一群人,他們就是完全違背了電競的精神,嚴重影響了游戲的平衡,降低了玩家都游戲的體驗,造成了很多人的大力抵制,他們被稱之為——演員!可能會有一些剛剛接觸英雄聯(lián)盟的新手玩家不能理解這個演員的意思,那么英雄聯(lián)盟的演員是什么意思呢?這可不是一個行業(yè)名詞,而是在游戲中行為惡劣的玩家__。下面小編會詳細解釋_。演員是怎么產(chǎn)生的 不過可別小瞧了游戲主播的實力,知名主播PDD就曾經(jīng)在游戲中多次遇到這個問題,而他的做法可就讓玩家們大快人心了,首先嫖老師二話不說就截圖給英雄聯(lián)盟官方,直截了當?shù)亟o了他一個封號套餐,再然后通過某些手段潛入演員群內(nèi)部,上演了一場一鍋端的好戲-。但往往大多數(shù)玩家、游戲主播都沒有PDD這般能耐,基本上遇到演員問題都還有呢?冷少爆料電一演員群,管澤元與官方釣魚執(zhí)法!網(wǎng)友:啥事都有你!