鄂歌

IT之家7月28日消息，中國科學院深圳先進技術研究院數(shù)字所董超研究員團隊今日發(fā)布了一項名為HYPIR的圖像復原大模型，不僅比現(xiàn)有的圖像復原技術快數(shù)十倍，更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現(xiàn)出了優(yōu)異性能。

傳統(tǒng)方法中，基于預訓練擴散模型的復原技術顯著提升了圖像復原效果，但存在計算復雜度高、推理速度慢、訓練資源消耗大以及生成結果可控性不足等問題，成為了限制圖像復原技術發(fā)展的瓶頸問題。

▲1927年第五屆索爾維會議合影修復

去年，董超團隊提出了智能畫質(zhì)增強大模型SUPIR，將低質(zhì)量的圖像恢復到接近原始狀態(tài)的高清圖像，修復多種退化類型的圖像。而此次圖像大模型HYPIR作為升級版，舍棄了迭代式的擴散模型訓練，改用單步的對抗生成模型訓練方式，將原有的算法速度提升了數(shù)倍，同時采用更新的文生圖基模型進一步提升算法效果，實現(xiàn)了8K級別的細節(jié)生成，在生成圖像的穩(wěn)定性和可控性方面遠超SUPIR大模型。

▲HYPIR大模型修復圖像效果展示

“以往圖像復原方法中往往包括擴散模型蒸餾、ControlNet適配器或者多步推理過程。而HYPIR則不需要依賴這些步驟，使用方法更加簡單。在訓練和推理速度上較傳統(tǒng)方法提升了一個數(shù)量級以上，且性能更優(yōu)?！倍榻B，HYPIR主要有兩個創(chuàng)新點，一是使用預訓練擴散模型初始化復原網(wǎng)絡；二是從理論角度出發(fā)解釋這一簡單方法背后蘊含的深刻原理。

實驗數(shù)據(jù)顯示，在單張顯卡（圖像處理器）上，HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復原。相比現(xiàn)有的圖像復原方法，研究人員提出的HYPIR在復原圖像的質(zhì)量上性能更優(yōu)，且能夠適用于各種尺寸的預訓練擴散模型，為不同應用場景提供了靈活性。

▲HYPIR大模型處理圖片紋理細節(jié)的效果展示

在應用層面，研究人員介紹，HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。

例如，在老照片修復方面，研究人員運用HYPIR修復了國內(nèi)外經(jīng)典電影、電視劇老照片，讓模糊的影像重現(xiàn)清晰的細節(jié)，為文化記憶傳承提供了技術支持。在高分辨率圖像修復領域，HYPIR同樣表現(xiàn)出色，因其兼具速度與效果，HYPIR成功攻克了傳統(tǒng)方法在生成8K分辨率圖像時往往面臨速度慢或效果不佳的難題。

▲HYPIR大模型在高分辨率圖像超分復原方面的效果展示

在文字保真方面，傳統(tǒng)基于擴散模型的方法常導致復原出的文字模糊或扭曲，缺乏精確性，而HYPIR則能夠使復原出的文字保持高保真度和清晰度，無論是簡單的標識還是復雜的文檔，HYPIR都能精準地還原其原始形態(tài)，使圖像中的文字清晰可讀。

值得一提的是，HYPIR還具備了突出的自然語言理解能力，能夠精準捕捉和理解用戶的輸入指令，在圖像復原過程中準確地反映用戶的意圖。此外，用戶可以根據(jù)需求靈活調(diào)節(jié)生成與復原的平衡，或精細控制圖像細節(jié)程度，從而獲得符合自身偏好的結果。

HYPIR不僅展示了圖像修復技術上的創(chuàng)新性，也體現(xiàn)了對實際應用需求的理解。通過打破傳統(tǒng)思維定式，該技術在文化傳承與保護、影視修復、高分辨率圖像生成等領域提供了解決方案。

IT之家附HYPIR項目官網(wǎng)鏈接：

五本網(wǎng)絡游戲文,一劍在手,征戰(zhàn)魔域,彈指間灰飛煙滅,爭霸天下

5本越看越上癮的種田爭霸小說,前期低調(diào)發(fā)育,后期橫掃一切?？小馬...

當初挑燈夜讀的十本網(wǎng)游小說,你還記得嗎?一生推系列!