影音先锋橹撸资源_人妻少妇孑伦无码视频_日本女人牲交视频免费看_国产香蕉视频上线免费_波多野结超清无码中文影片_婷婷色丁香五月激情综合在线观看_寡妇高潮流白浆A片_国产精品九色 Av_花房姑娘电影未删减版免费观看_国产亚洲综合一区三区在线播放

【導(dǎo)讀】當前大型視覺語言模型（LVLMs）存在物體幻覺問題，即會生成圖像中不存在的物體描述。西安交通大學(xué)研究團隊提出了一種名為Nullu的方法，通過提取「幻覺子空間」（HalluSpace）并進行零空間投影來編輯模型權(quán)重，從而有效消除幻覺，且不增加額外推理成本。

當前大型視覺語言模型（LVLMs）普遍存在「物體幻覺」問題：模型會憑空生成圖像中不存在的物體描述。

為了高效地實現(xiàn)幻覺消除，西安交通大學(xué)研究團隊提出了一種利用「幻覺子空間」（HalluSpace）進行零空間投影的高效模型權(quán)重編輯方法Nullu（NullspaceofHalluSpace）。

論文地址：https://arxiv.org/abs/2412.13817代碼地址：https://github.com/Ziwei-Zheng/Nullu

該方法的核心思路在于：從特征空間尋找到正常樣本表征與幻覺樣本特征的核心差異。

為了實現(xiàn)這一目標，研究人員在提取「真實描述+圖像」與「幻覺描述+圖像」的模型內(nèi)部嵌入特征基礎(chǔ)上，通過對二者嵌入特征的差進行主成分分析，定位導(dǎo)致幻覺的關(guān)鍵子空間，即HalluSpace

實驗發(fā)現(xiàn)，HalluSpace內(nèi)包含了LVLM所基于的大語言模型（LLMs）過強的偏好先驗知識，而這在以往研究中已被證明是產(chǎn)生幻覺的主要原因之一。

因此，通過正交化模型權(quán)重，將輸入樣本的特征投影至HalluSpace的零空間，可以有效去除這種偏好先驗，從而抑制幻覺生成。

Nullu實現(xiàn)簡單，無需訓(xùn)練，便于部署，且不引入額外推理開銷，在多個幻覺消除任務(wù)上取得了出色的效果，成果已發(fā)表于CVPR2025

基于零空間投影的權(quán)重編輯

Nullu的權(quán)重編輯過程主要分為三個步驟：1）真實-幻覺數(shù)據(jù)對構(gòu)建；2）HalluSpace抽取；3）基于零空間投影的模型權(quán)重編輯。

數(shù)據(jù)對構(gòu)建

對于任意「視覺-文本」結(jié)構(gòu)的輸入數(shù)據(jù)，研究人員將構(gòu)建數(shù)據(jù)對來實現(xiàn)幻覺子空間的抽取。每個數(shù)據(jù)對具有相同的圖像和不同的文本信息：其中一個文本包含準確描述圖像中物體的真實描述，作為負樣本；另一個包含幻覺描述，作為正樣本。

可以直接使用LURE[1]數(shù)據(jù)集作為數(shù)據(jù)對，其中每一對樣本包含圖像及其對應(yīng)的真實描述（GroundTruth，GT）以及通過關(guān)鍵詞替換得到的幻覺描述（HallucinationDescription，HD）。

LURE數(shù)據(jù)構(gòu)建的流程如下：圖像從MSCOCO2014數(shù)據(jù)集的訓(xùn)練集中隨機選取5000張圖像，并獲取與對應(yīng)的描述作為GT

在此基礎(chǔ)上，替換GT中最易引發(fā)幻覺的對象，如高頻對象等，作為幻覺描述HD。

HalluSpace抽取

HalluSpace的抽取將主要在LVLM的語言模型部分的MLP層特征空間進行，整體流程如圖所示。

語言大模型部分由LLM構(gòu)成，各層包括一個自注意力層和一個MLP層。為抽取幻覺子空間HalluSpace，首先分別輸入具有真實響應(yīng)和幻覺響應(yīng)的正負樣本對，在LLM部分的每層分別計算并存儲嵌入特征，隨后在特征的長度維度上，對每個樣本對應(yīng)的特征求平均值，將這些嵌入特征堆疊成正負樣本特征矩陣，并求出差異矩陣。

接著，通過SVD分解對差異矩陣進行主成分分析。

最后，選取具有對應(yīng)于前??個奇異值的右奇異向量，即特征向量V的前??個列向量。

這些方向代表了真實特征和幻覺特征之間的主要差異，可以被視為模型特征空間中引發(fā)幻覺描述的方向，即HalluSpace

基于零空間投影的模型權(quán)重編輯

由于HalluSpace表示了真實數(shù)據(jù)和幻覺數(shù)據(jù)分布之間的主要差異方向，因此可以通過將模型特征投影到幻覺空間的零空間來去除特征中的潛在幻覺信息。

由于所有輸入共享HalluSpace，因此直接將模型權(quán)重向HalluSpace的零空間進行投影，即可消除潛在幻覺風(fēng)險。

經(jīng)過編輯的新模型參數(shù)，可以直接重新加載到原始模型中，因此在推理時，不會引入任何額外計算開銷。

如下圖所示，當輸入內(nèi)容的內(nèi)部特征存在處于HalluSpace的分量時，新的模型參數(shù)可以有效將該分量消除，從而減少幻覺的發(fā)生。

幻覺子空間的存在性與討論

研究人員進一步利用實驗，驗證了HalluSpace的存在性；同時，論文通過解碼對HalluSpace內(nèi)部所包含的信息進行了分析討論，揭示了Nullu與現(xiàn)有方法的相互關(guān)系；進一步，文章對Nullu的有效性進行了分析，并揭示了其與直接偏好優(yōu)化（DPO）的潛在關(guān)系。

幻覺子空間的存在性分析

假設(shè)HalluSpace存在，在測試集上（非LURE數(shù)據(jù)集），真實樣本和幻覺樣本計算得到的特征差異向量在HalluSpace應(yīng)具有較大分量。

為評估這一點，研究人員在CHAIR測試上，選擇了100個LLaVA-1.5發(fā)生幻覺的描述性問題作為測試對象，計算每個樣本幻覺發(fā)生和沒有幻覺時嵌入特征的差異向量進行測試。

此外，實驗中還隨機選取了100個隨機向量作為比較基線。

為了避免范數(shù)的影響，研究人員進一步對所有的向量都進行了歸一化處理。

圖中（a）展示了向量在歸一化球面上的分布示意圖。

對于隨機向量，其將隨意的分布在單位球內(nèi)部，因此在幻覺子空間的投影分量將會較低；而所計算的差向量如果成功捕獲了幻覺信息，則在幻覺子空間的投影分量將會很高。

因此研究人員進行了驗證性的計算，結(jié)果顯示，所計算差向量在幻覺子空間的投影分量比隨機對照組高出了10倍以上。

這一證據(jù)表明，幻覺子空間捕捉到了LVLM特征中和幻覺有關(guān)的特征方向，從而證明了幻覺子空間的存在性。

其他討論與分析

論文中通過對HalluSpace內(nèi)部所包含的信息進行解碼，發(fā)現(xiàn)其內(nèi)部包含了眾多語言模型的偏好先驗。

因此，將模型參數(shù)向HalluSpace的正交零空間投影實現(xiàn)了去除模型內(nèi)部語言偏好的功能，從而有效解決了物體幻覺問題。這一思路與現(xiàn)有的方法，如VCD[2]具有類似性。

另外，文章進一步揭示了Nullu與直接偏好優(yōu)化（DPO）的潛在關(guān)系，進一步說明了方法的有效性，這里不再贅述。

實驗與分析

研究人員將所提出方法部署于LLaVA-1.5、MiniGPT-4和mPLUG-Owl2，并在多個數(shù)據(jù)集對Nullu的有效性進行了驗證：包括在CHAIR和POPE的幻覺性能驗證，以及在MME和LLaVA-Bench的通用性能測試。

通過下圖可以看出，由于Nullu可以通過模型編輯直接修改模型參數(shù)，因此在推理過程中，不會引入任何額外的推理開銷，實現(xiàn)了零開銷抑制物體幻覺。

相比現(xiàn)有其他解碼增強方法，Nullu能以更快的速度，實現(xiàn)更好的物體幻覺解決性能。且這一性能提升并非通過減少模型輸出長度來實現(xiàn)的。

為直觀展示物體幻覺的緩解效果，研究人員進一步展示了Nullu在LLaVA-Bench開放式生成任務(wù)數(shù)據(jù)集上的測試案例。

如下圖中所示，對于同一問題，使用經(jīng)過Nullu進行權(quán)重編輯的模型成功消除了原始模型輸出中存在的物體幻覺。

研究人員還進行了在線測試來對Nullu的有效性進行檢測。在原始模型輸出物體幻覺詞「person」時，改用經(jīng)過編輯的權(quán)重進行推理后，輸出變更為「mountain」，進一步證明了所提出方法的有效性。

結(jié)語

研究人員提出了一種基于特征編輯的物體幻覺消除方法Nullu。

Nullu針對模型各層的多層感知機部分進行幻覺空間識別，通過提取真實特征與幻覺特征差異的低秩子空間，并進一步對LVLM的權(quán)重進行正交化投影，從而緩解物體幻覺問題。

實驗結(jié)果表明，Nullu能夠在不增加額外推理成本的情況下顯著緩解物體幻覺，這使得該方法相較于當前的解碼階段方法和后處理方法，在推理速度上更具優(yōu)勢。

同時，經(jīng)該方法編輯后的模型在通用大型視覺語言模型基準測試中仍能保持良好性能，證明其在提升真實性的同時，并未損害模型的整體能力。

理論分析表明，該方法與直接偏好優(yōu)化在權(quán)重更新方式上存在內(nèi)在一致性。通過與先前研究的對比分析進一步發(fā)現(xiàn)，該方法通過調(diào)整模型參數(shù)，有效減少了大語言模型中的語言偏差，而語言偏差已被證實是導(dǎo)致對象幻覺的關(guān)鍵因素之一。

作者介紹

論文作者來自西安交通大學(xué)人工智能安全實驗室（AI-SEC）團隊，其中第一作者楊樂為西安交通大學(xué)特聘研究員，共同第一作者為西安交通大學(xué)博士生鄭子維，通訊作者為西安交通大學(xué)沈超教授。

參考資料：

[1]Zhou,Yiyang,etal."Analyzingandmitigatingobjecthallucinationinlargevision-languagemodels."InICLR2024.

[2]Leng,Sicong,etal."Mitigatingobjecthallucinationsinlargevision-languagemodelsthroughvisualcontrastivedecoding."InCVPR2024.

泡沫箱的三大妙用:收納、花盆與養(yǎng)魚

▍ 1.作為收納箱使用泡沫箱可以被用作收納箱，通過簡單的清洗和美化處理，可以用于存放衣物、玩具或雜物，既安全又耐用，還能省錢。你可以簡單地將泡沫箱清洗干凈，甚至可以裁剪幾塊家里不用的布料，用膠水粘貼在泡沫箱的表面，以增加美觀度。無論是用來裝衣物、玩具還是雜物，這個泡沫箱都能滿足你的需求，其耐用希望你能滿意。
泡沫箱的回收價格在1元到2元之間，因為泡沫箱非常的輕，一個泡沫箱大概也只有多少克的重量，一斤就能收到好幾個大大小小的泡沫箱子-——。如果是破損的泡沫箱子，我們直接當做廢品處理就好了，但是對于一些完好無損的泡沫箱子，最好是能夠進行清洗消毒后，做成干干凈凈的新包裝，重新再銷售。泡沫箱子作為生鮮電商必備的包裝有幫助請點贊|。

家里的泡沫箱別扔哦!這3個妙用太實用了,看完文章趕緊家里人

但是，這種看似沒用的東西往往都能變廢為寶，今天就向大家分享一下泡沫箱的其他用處，看完之后要轉(zhuǎn)告給家里人哦！一、可以保溫，保冷泡沫箱是用泡沫塑料做成的，這種材料還有另外一個名字叫做EPS材料，雖然看上去“弱不禁風(fēng)”，但是它有著非常多的功效-——。這種材料的表面有非常多微小的氣孔，既能保證箱內(nèi)的進入還有呢？
所以總體來說，泡沫箱子種菜是沒什么問題的。雖說，泡沫箱子不太可能分解，產(chǎn)生有害物質(zhì)，但是我們不能排除一些泡沫箱子本身含有有害物質(zhì)。例如因為泡沫是包裝材料里，經(jīng)常用的一種填充、緩沖作用的東西，所以泡沫箱子被應(yīng)用到各個行業(yè)里——_。這里，我們就不能排除一些泡沫箱子被用來裝一些有害物質(zhì)__。如果一個泡沫箱子本身就到此結(jié)束了？。

EPP保溫箱與EPS泡沫箱:差異大揭秘

一般來說，EPP保溫箱的保溫時間比EPS泡沫箱長30%至50%左右|-。EPS泡沫箱雖然也有一定的保溫隔熱能力，但由于其結(jié)構(gòu)相對疏松，熱量容易通過空氣對流等方式散失，所以保溫性能稍遜一籌。在對保溫要求較高的場合，EPP保溫箱往往是更好的選擇。三、環(huán)保性差異大從環(huán)保角度來看，EPP保溫箱具有明顯的優(yōu)勢——。EPP材料可回收再有幫助請點贊-——。
泡沫箱所采用的聚苯乙烯材料，是在傳統(tǒng)包裝材料的基礎(chǔ)上經(jīng)過研發(fā)改良而成的。這種材料不僅克服了傳統(tǒng)包裝材料的不柔軟、易腐爛、易撕破以及缺乏防水防潮性能等缺點，更增添了柔軟、堅韌、防水和防潮等多重特性——_。這使得新型泡沫箱在保持傳統(tǒng)包裝材料優(yōu)點的同時，更顯得卓越非凡。? 泡沫箱的產(chǎn)品優(yōu)勢泡沫箱，以其獨特的希望你能滿意-。