網(wǎng)上人均「原生家庭創(chuàng)傷」,但父母那代更苦卻沒抑郁,這種矛盾現(xiàn)象你怎么看?
新央企中國長安汽車集團(tuán)成立,登記地在重慶,注冊資本 200 億元,將對汽車行業(yè)和市場格局帶來哪些影響?
圖像復(fù)原領(lǐng)域長期面臨一個難題:要么追求質(zhì)量卻耗時漫長,要么追求速度卻犧牲細(xì)節(jié)。如何把一張老照片修復(fù)得又快又好?
近日,中國科學(xué)院深圳先進(jìn)技術(shù)研究院數(shù)字所董超研究員團(tuán)隊發(fā)布了一項名為HYPIR的圖像復(fù)原大模型,不僅比現(xiàn)有的圖像復(fù)原技術(shù)快數(shù)十倍,更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現(xiàn)出了優(yōu)異性能,為圖像復(fù)原技術(shù)的實際應(yīng)用提供了更高效的解決方案,更為文化傳承與保護(hù)、影視修復(fù)等領(lǐng)域帶來新的可能性。
董超研究員(左)介紹HYPIR大模型。
突破傳統(tǒng)技術(shù)瓶頸,圖像修復(fù)更高效
傳統(tǒng)方法中,基于預(yù)訓(xùn)練擴(kuò)散模型的復(fù)原技術(shù)顯著提升了圖像復(fù)原效果,但存在計算復(fù)雜度高、推理速度慢、訓(xùn)練資源消耗大以及生成結(jié)果可控性不足等問題,成為了限制圖像復(fù)原技術(shù)發(fā)展的瓶頸問題。
去年,董超團(tuán)隊提出了智能畫質(zhì)增強大模型SUPIR,將低質(zhì)量的圖像恢復(fù)到接近原始狀態(tài)的高清圖像,有效修復(fù)多種退化類型的圖像。而此次圖像大模型HYPIR作為升級版,舍棄了迭代式的擴(kuò)散模型訓(xùn)練,改用單步的對抗生成模型訓(xùn)練方式,將原有的算法速度提升了數(shù)倍,同時采用更新的文生圖基模型進(jìn)一步提升算法效果,實現(xiàn)了8K級別的細(xì)節(jié)生成,在生成圖像的穩(wěn)定性和可控性方面遠(yuǎn)超SUPIR大模型。
董超介紹,HYPIR主要有兩個創(chuàng)新點,一是使用預(yù)訓(xùn)練擴(kuò)散模型初始化復(fù)原網(wǎng)絡(luò);二是從理論角度出發(fā)解釋這一簡單方法背后蘊含的深刻原理。實驗數(shù)據(jù)顯示,在單張顯卡(圖像處理器)上,HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復(fù)原。相比現(xiàn)有的圖像復(fù)原方法,研究人員提出的HYPIR在復(fù)原圖像的質(zhì)量上性能更優(yōu),且能夠適用于各種尺寸的預(yù)訓(xùn)練擴(kuò)散模型,為不同應(yīng)用場景提供了靈活性。
1985年的深圳南頭半島(下圖,攝影:陳宗浩)與4倍超分修復(fù)(上圖)后的對比圖。
多種性能優(yōu)異,應(yīng)用前景廣闊
在應(yīng)用層面,研究人員介紹,HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。
例如,在老照片修復(fù)方面,研究人員運用HYPIR修復(fù)了國內(nèi)外經(jīng)典電影、電視劇老照片,讓模糊的影像重現(xiàn)清晰的細(xì)節(jié),為文化記憶傳承提供了技術(shù)支持。在高分辨率圖像修復(fù)領(lǐng)域,HYPIR同樣表現(xiàn)出色,因其兼具速度與效果,HYPIR成功攻克了傳統(tǒng)方法在生成8k分辨率圖像時往往面臨速度慢或效果不佳的難題。
在文字保真方面,傳統(tǒng)基于擴(kuò)散模型的方法常導(dǎo)致復(fù)原出的文字模糊或扭曲,缺乏精確性,而HYPIR則能夠使復(fù)原出的文字保持高保真度和清晰度,無論是簡單的標(biāo)識還是復(fù)雜的文檔,HYPIR都能精準(zhǔn)地還原其原始形態(tài),使圖像中的文字清晰可讀。
值得一提的是,HYPIR還具備了突出的自然語言理解能力,能夠精準(zhǔn)捕捉和理解用戶的輸入指令,在圖像復(fù)原過程中準(zhǔn)確地反映用戶的意圖。此外,用戶可以根據(jù)需求靈活調(diào)節(jié)生成與復(fù)原的平衡,或精細(xì)控制圖像細(xì)節(jié)程度,從而獲得符合自身偏好的結(jié)果。這種用戶友好的設(shè)計使得HYPIR不僅適用于專業(yè)領(lǐng)域,也能滿足普通用戶的需求。
HYPIR不僅展示了圖像修復(fù)技術(shù)上的創(chuàng)新性,也體現(xiàn)了對實際應(yīng)用需求的理解。通過打破傳統(tǒng)思維定式,該技術(shù)在文化傳承與保護(hù)、影視修復(fù)、高分辨率圖像生成等領(lǐng)域提供了切實可行的解決方案,為圖像復(fù)原技術(shù)的發(fā)展注入了新的活力。
一直以來,董超帶領(lǐng)團(tuán)隊致力于底層視覺技術(shù)研究,在圖像處理領(lǐng)域取得了多個重要突破,并出版了人工智能專著《底層視覺之美》。在他看來,做科研要堅持“三心”,即“初心、良心、愛心”,不僅要保持純粹的好奇心,也要堅守實事求是的底線,更要秉持科技向善的責(zé)任。
“真正的科研成果要尊重事實真相,經(jīng)得起反復(fù)推敲。”董超介紹,目前HYPIR大模型的開源代碼和模型已上傳至GitHub開放使用并已成功部署于明犀科技平臺中,同時與深圳市南山區(qū)檔案館合作對部分館藏照片進(jìn)行修復(fù),后續(xù)該大模型還將進(jìn)一步推進(jìn)產(chǎn)業(yè)化,讓社會公眾親身體驗科技魅力。
文:伍曼娜
《許你情深深似海》護(hù)短男主x超颯女主,誰說的秀分快,這份狗糧你收...
大愛魚不語,《許你情深深似?!匪⒉荒?清醒而獨立的愛最迷人
魚不語走心力作《許你情深深似?!?強取豪奪系,評分高達(dá)9.7!