IT之家7月28日消息，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院數(shù)字所董超研究員團(tuán)隊(duì)今日發(fā)布了一項(xiàng)名為HYPIR的圖像復(fù)原大模型，不僅比現(xiàn)有的圖像復(fù)原技術(shù)快數(shù)十倍，更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現(xiàn)出了優(yōu)異性能。

傳統(tǒng)方法中，基于預(yù)訓(xùn)練擴(kuò)散模型的復(fù)原技術(shù)顯著提升了圖像復(fù)原效果，但存在計(jì)算復(fù)雜度高、推理速度慢、訓(xùn)練資源消耗大以及生成結(jié)果可控性不足等問(wèn)題，成為了限制圖像復(fù)原技術(shù)發(fā)展的瓶頸問(wèn)題。

▲1927年第五屆索爾維會(huì)議合影修復(fù)

去年，董超團(tuán)隊(duì)提出了智能畫質(zhì)增強(qiáng)大模型SUPIR，將低質(zhì)量的圖像恢復(fù)到接近原始狀態(tài)的高清圖像，修復(fù)多種退化類型的圖像。而此次圖像大模型HYPIR作為升級(jí)版，舍棄了迭代式的擴(kuò)散模型訓(xùn)練，改用單步的對(duì)抗生成模型訓(xùn)練方式，將原有的算法速度提升了數(shù)倍，同時(shí)采用更新的文生圖基模型進(jìn)一步提升算法效果，實(shí)現(xiàn)了8K級(jí)別的細(xì)節(jié)生成，在生成圖像的穩(wěn)定性和可控性方面遠(yuǎn)超SUPIR大模型。

▲HYPIR大模型修復(fù)圖像效果展示

“以往圖像復(fù)原方法中往往包括擴(kuò)散模型蒸餾、ControlNet適配器或者多步推理過(guò)程。而HYPIR則不需要依賴這些步驟，使用方法更加簡(jiǎn)單。在訓(xùn)練和推理速度上較傳統(tǒng)方法提升了一個(gè)數(shù)量級(jí)以上，且性能更優(yōu)。”董超介紹，HYPIR主要有兩個(gè)創(chuàng)新點(diǎn)，一是使用預(yù)訓(xùn)練擴(kuò)散模型初始化復(fù)原網(wǎng)絡(luò)；二是從理論角度出發(fā)解釋這一簡(jiǎn)單方法背后蘊(yùn)含的深刻原理。

實(shí)驗(yàn)數(shù)據(jù)顯示，在單張顯卡（圖像處理器）上，HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復(fù)原。相比現(xiàn)有的圖像復(fù)原方法，研究人員提出的HYPIR在復(fù)原圖像的質(zhì)量上性能更優(yōu)，且能夠適用于各種尺寸的預(yù)訓(xùn)練擴(kuò)散模型，為不同應(yīng)用場(chǎng)景提供了靈活性。

▲HYPIR大模型處理圖片紋理細(xì)節(jié)的效果展示

在應(yīng)用層面，研究人員介紹，HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。

例如，在老照片修復(fù)方面，研究人員運(yùn)用HYPIR修復(fù)了國(guó)內(nèi)外經(jīng)典電影、電視劇老照片，讓模糊的影像重現(xiàn)清晰的細(xì)節(jié)，為文化記憶傳承提供了技術(shù)支持。在高分辨率圖像修復(fù)領(lǐng)域，HYPIR同樣表現(xiàn)出色，因其兼具速度與效果，HYPIR成功攻克了傳統(tǒng)方法在生成8K分辨率圖像時(shí)往往面臨速度慢或效果不佳的難題。

▲HYPIR大模型在高分辨率圖像超分復(fù)原方面的效果展示

在文字保真方面，傳統(tǒng)基于擴(kuò)散模型的方法常導(dǎo)致復(fù)原出的文字模糊或扭曲，缺乏精確性，而HYPIR則能夠使復(fù)原出的文字保持高保真度和清晰度，無(wú)論是簡(jiǎn)單的標(biāo)識(shí)還是復(fù)雜的文檔，HYPIR都能精準(zhǔn)地還原其原始形態(tài)，使圖像中的文字清晰可讀。

值得一提的是，HYPIR還具備了突出的自然語(yǔ)言理解能力，能夠精準(zhǔn)捕捉和理解用戶的輸入指令，在圖像復(fù)原過(guò)程中準(zhǔn)確地反映用戶的意圖。此外，用戶可以根據(jù)需求靈活調(diào)節(jié)生成與復(fù)原的平衡，或精細(xì)控制圖像細(xì)節(jié)程度，從而獲得符合自身偏好的結(jié)果。

HYPIR不僅展示了圖像修復(fù)技術(shù)上的創(chuàng)新性，也體現(xiàn)了對(duì)實(shí)際應(yīng)用需求的理解。通過(guò)打破傳統(tǒng)思維定式，該技術(shù)在文化傳承與保護(hù)、影視修復(fù)、高分辨率圖像生成等領(lǐng)域提供了解決方案。

IT之家附HYPIR項(xiàng)目官網(wǎng)鏈接：

聊齋中的“喬女”,也是無(wú)數(shù)曾在封建制度下掙扎的中國(guó)女性的縮影

聊齋中的“喬女”，藏著中國(guó)女性最深重的悲愴縱覽古今中外的文藝作品，奇聞?shì)W事的男女主角大多是氣質(zhì)非凡的才子佳人、公主王子，他們有著完美的外表、不凡的心性，卻在種種因緣際會(huì)下不得不承載著多舛的命運(yùn)。如此懸殊的反差無(wú)疑會(huì)更大程度地激起看客們的憐憫之情，引起陣陣唏噓-。而對(duì)于男女主角而言，精雕細(xì)琢的外表似乎是不可或缺 “書中自有黃金屋，書中自有顏如玉”，蒲松齡寫出了詩(shī)文小說(shuō)《聊齋》，其中最動(dòng)人的名篇也是關(guān)于愛(ài)情的，刻苦讀書的書生，總是能獲得美女艷狐的真情陪伴|。但是也有一篇是例外，《聊齋》中的《嬌娜》一篇描寫的就不是男女之間的愛(ài)情，而是一種比愛(ài)情更高層次的感情|_。因?yàn)橐庵腥四昙o(jì)小，娶了她的表姐自從孔圣人之后到此結(jié)束了？。

十五本被讀者奉為經(jīng)典的口碑大作,劇情熱血澎湃,書荒推薦一看!

第一部、《聊齋大圣人》，作者：佛前獻(xiàn)花，類別：懸疑奇妙世界，字?jǐn)?shù)：240萬(wàn)(已完本)標(biāo)簽：穿越，洪荒，聊齋簡(jiǎn)介：主角穿越異世，成為大宋國(guó)郭北縣李家的獨(dú)子李修遠(yuǎn)，出生時(shí)紫氣三萬(wàn)里，是天生圣人，身懷七竅玲瓏心——|。拜了一個(gè)瞎了眼的老道士為師，本想咸魚度過(guò)一生的主角，發(fā)現(xiàn)縣外有一座名叫蘭若寺的寺廟，..
《聊齋大圣人》作者：佛前獻(xiàn)花第一章郭北縣上降圣人。大宋國(guó)，郭北城往北，有一縣，名為郭北縣?？h大繁華，人聲鼎沸，好不熱鬧|。郭北縣李家是縣內(nèi)最有名的富商財(cái)主，累三代之資其家底之豐厚無(wú)人可知，但是稍微有心的人一打聽(tīng)就可知道，郭北縣內(nèi)最繁華地段的商鋪有過(guò)半是李家名下的，縣外的良田早許些年就后面會(huì)介紹。