旁懷寒

圖像復(fù)原領(lǐng)域長(zhǎng)期面臨一個(gè)難題：要么追求質(zhì)量卻耗時(shí)漫長(zhǎng)，要么追求速度卻犧牲細(xì)節(jié)。如何把一張老照片修復(fù)得又快又好？

近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院數(shù)字所董超研究員團(tuán)隊(duì)發(fā)布了一項(xiàng)名為HYPIR的圖像復(fù)原大模型，不僅比現(xiàn)有的圖像復(fù)原技術(shù)快數(shù)十倍，更在高清分辨率、文字保真、理解能力、用戶(hù)控制靈活性等方面展現(xiàn)出了優(yōu)異性能，為圖像復(fù)原技術(shù)的實(shí)際應(yīng)用提供了更高效的解決方案，更為文化傳承與保護(hù)、影視修復(fù)等領(lǐng)域帶來(lái)新的可能性。

董超研究員（左）介紹HYPIR大模型。

突破傳統(tǒng)技術(shù)瓶頸，圖像修復(fù)更高效

傳統(tǒng)方法中，基于預(yù)訓(xùn)練擴(kuò)散模型的復(fù)原技術(shù)顯著提升了圖像復(fù)原效果，但存在計(jì)算復(fù)雜度高、推理速度慢、訓(xùn)練資源消耗大以及生成結(jié)果可控性不足等問(wèn)題，成為了限制圖像復(fù)原技術(shù)發(fā)展的瓶頸問(wèn)題。

去年，董超團(tuán)隊(duì)提出了智能畫(huà)質(zhì)增強(qiáng)大模型SUPIR，將低質(zhì)量的圖像恢復(fù)到接近原始狀態(tài)的高清圖像，有效修復(fù)多種退化類(lèi)型的圖像。而此次圖像大模型HYPIR作為升級(jí)版，舍棄了迭代式的擴(kuò)散模型訓(xùn)練，改用單步的對(duì)抗生成模型訓(xùn)練方式，將原有的算法速度提升了數(shù)倍，同時(shí)采用更新的文生圖基模型進(jìn)一步提升算法效果，實(shí)現(xiàn)了8K級(jí)別的細(xì)節(jié)生成，在生成圖像的穩(wěn)定性和可控性方面遠(yuǎn)超SUPIR大模型。

董超介紹，HYPIR主要有兩個(gè)創(chuàng)新點(diǎn)，一是使用預(yù)訓(xùn)練擴(kuò)散模型初始化復(fù)原網(wǎng)絡(luò)；二是從理論角度出發(fā)解釋這一簡(jiǎn)單方法背后蘊(yùn)含的深刻原理。實(shí)驗(yàn)數(shù)據(jù)顯示，在單張顯卡（圖像處理器）上，HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復(fù)原。相比現(xiàn)有的圖像復(fù)原方法，研究人員提出的HYPIR在復(fù)原圖像的質(zhì)量上性能更優(yōu)，且能夠適用于各種尺寸的預(yù)訓(xùn)練擴(kuò)散模型，為不同應(yīng)用場(chǎng)景提供了靈活性。

1985年的深圳南頭半島（下圖，攝影：陳宗浩）與4倍超分修復(fù)（上圖）后的對(duì)比圖。

多種性能優(yōu)異，應(yīng)用前景廣闊

在應(yīng)用層面，研究人員介紹，HYPIR在圖像高清分辨率、文字保真、理解能力、用戶(hù)控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。

例如，在老照片修復(fù)方面，研究人員運(yùn)用HYPIR修復(fù)了國(guó)內(nèi)外經(jīng)典電影、電視劇老照片，讓模糊的影像重現(xiàn)清晰的細(xì)節(jié)，為文化記憶傳承提供了技術(shù)支持。在高分辨率圖像修復(fù)領(lǐng)域，HYPIR同樣表現(xiàn)出色，因其兼具速度與效果，HYPIR成功攻克了傳統(tǒng)方法在生成8k分辨率圖像時(shí)往往面臨速度慢或效果不佳的難題。

在文字保真方面，傳統(tǒng)基于擴(kuò)散模型的方法常導(dǎo)致復(fù)原出的文字模糊或扭曲，缺乏精確性，而HYPIR則能夠使復(fù)原出的文字保持高保真度和清晰度，無(wú)論是簡(jiǎn)單的標(biāo)識(shí)還是復(fù)雜的文檔，HYPIR都能精準(zhǔn)地還原其原始形態(tài)，使圖像中的文字清晰可讀。

值得一提的是，HYPIR還具備了突出的自然語(yǔ)言理解能力，能夠精準(zhǔn)捕捉和理解用戶(hù)的輸入指令，在圖像復(fù)原過(guò)程中準(zhǔn)確地反映用戶(hù)的意圖。此外，用戶(hù)可以根據(jù)需求靈活調(diào)節(jié)生成與復(fù)原的平衡，或精細(xì)控制圖像細(xì)節(jié)程度，從而獲得符合自身偏好的結(jié)果。這種用戶(hù)友好的設(shè)計(jì)使得HYPIR不僅適用于專(zhuān)業(yè)領(lǐng)域，也能滿(mǎn)足普通用戶(hù)的需求。

HYPIR不僅展示了圖像修復(fù)技術(shù)上的創(chuàng)新性，也體現(xiàn)了對(duì)實(shí)際應(yīng)用需求的理解。通過(guò)打破傳統(tǒng)思維定式，該技術(shù)在文化傳承與保護(hù)、影視修復(fù)、高分辨率圖像生成等領(lǐng)域提供了切實(shí)可行的解決方案，為圖像復(fù)原技術(shù)的發(fā)展注入了新的活力。

一直以來(lái)，董超帶領(lǐng)團(tuán)隊(duì)致力于底層視覺(jué)技術(shù)研究，在圖像處理領(lǐng)域取得了多個(gè)重要突破，并出版了人工智能專(zhuān)著《底層視覺(jué)之美》。在他看來(lái)，做科研要堅(jiān)持“三心”，即“初心、良心、愛(ài)心”，不僅要保持純粹的好奇心，也要堅(jiān)守實(shí)事求是的底線，更要秉持科技向善的責(zé)任。

“真正的科研成果要尊重事實(shí)真相，經(jīng)得起反復(fù)推敲?！倍榻B，目前HYPIR大模型的開(kāi)源代碼和模型已上傳至GitHub開(kāi)放使用并已成功部署于明犀科技平臺(tái)中，同時(shí)與深圳市南山區(qū)檔案館合作對(duì)部分館藏照片進(jìn)行修復(fù)，后續(xù)該大模型還將進(jìn)一步推進(jìn)產(chǎn)業(yè)化，讓社會(huì)公眾親身體驗(yàn)科技魅力。

文：伍曼娜

豪門(mén)總裁文,強(qiáng)推《快穿之女配逆襲指南》穿越悲慘女配,虐死渣男

穿書(shū):女配是個(gè)小哭包,一言不合就嘟嘴撒嬌,把男主反派全萌倒!

5部高質(zhì)量快穿文:女主穿越到不同的位面,總有神秘boss想撩她