Ultra3D團隊投稿量子位|公眾號QbitAI
在高質(zhì)量3D生成需求日益增長的背景下,如何高效生成結(jié)構(gòu)精良、幾何精細的三維資產(chǎn),已成為AIGC和數(shù)字內(nèi)容創(chuàng)作領(lǐng)域的關(guān)鍵挑戰(zhàn)。
盡管近年來的3D生成方法發(fā)展迅速,精度越來越高,但現(xiàn)有框架在兼顧效率和質(zhì)量上依然面臨瓶頸,尤其是在高分辨率建模中,計算的高復(fù)雜度嚴重制約了生成速度和應(yīng)用落地。
為解決上述困境,南洋理工大學(xué)聯(lián)合數(shù)美萬物、西湖大學(xué)提出了Ultra3D:一種全新的3D生成框架。
Ultra3D提出了一種coarse-to-fine的兩階段生成流程,高效實現(xiàn)高分辨率三維資產(chǎn)建模,刷新了3D生成質(zhì)量的上限。在第一階段,Ultra3D利用高效的VecSet表示快速生成coarsemesh,并導(dǎo)出稀疏體素;在第二階段,引入新提出局部化的PartAttention,對每個體素進行細粒度特征建模。
該機制僅在語義一致的局部區(qū)域內(nèi)進行注意力計算,大幅降低全局注意力的冗余計算,有效提升生成效率。該方法支持1024分辨率輸出,實現(xiàn)在保持高保真度的同時,實現(xiàn)高達6.7×的加速比,為三維資產(chǎn)的快速生成和下游應(yīng)用提供了切實可行的解決方案。
研究背景
3D生成領(lǐng)域近年來進展迅猛,稀疏體素憑借其對表面細節(jié)強大的建模能力成為了近來的各個SoTA方法普遍采用的3D表征。
這一表征將3D物體編碼成稀疏體素以及與各個體素對應(yīng)的latenttoken。其雖然表達能力非常強,但由于其token數(shù)目巨大,在高分辨率下往往過萬,所以導(dǎo)致其計算效率很低。
鑒于此,之前的工作往往局限于一個較低的分辨率,從而難以沖擊更高的質(zhì)量。為解決這一問題,Ultra3D旨在提出一個全新的兼顧效率和質(zhì)量的二階段生成pipeline,在不降低質(zhì)量的情況下大幅加速了訓(xùn)練和推理,從而將其擴展到了更高的分辨率和更高的質(zhì)量。
方法概述
Ultra3D由一個二階段的Pipeline構(gòu)成:第一階段通過緊湊高效的VecSet表征快速生成coarsemesh,并據(jù)此體素化得到稀疏體素的結(jié)構(gòu)布局;第二階段則基于該布局引入結(jié)構(gòu)感知的PartAttention,對每個體素進行l(wèi)atentfeature精細建模。
PartAttention通過幾何對齊的語義分組,僅在局部區(qū)域內(nèi)計算注意力,大幅減少計算冗余,同時保持幾何連續(xù)性和細節(jié)質(zhì)量。實驗顯示,Ultra3D可在不犧牲生成質(zhì)量的前提下,實現(xiàn)3.3×的整體加速,并在多個指標上超越現(xiàn)有SoTA方法,兼具速度與保真。
Ultra3D的核心在于其新提出的partattention機制,sparsevoxel這一表征雖然表達力很強,但苦于其token數(shù)太大,導(dǎo)致attention的計算開銷巨大。
為解決這一問題,Ultra3D提出了一種專為3D設(shè)計的partattention,其將attention計算限制在同一個partgroup內(nèi),避免了冗余的全局attention,從而在不降低質(zhì)量的情況下大幅度地降低了計算壓力。
一個簡單的替代方案是使用在大語言模型領(lǐng)域常用到的windowattention,但如下圖所示,實驗表明這種attention直接運用到3D中會導(dǎo)致質(zhì)量的下降。這是因為其固定的分割模式與3D物體的語義并不吻合。
與其他方法的對比實驗和userstudy表明,Ultra3D在生成質(zhì)量上遠超了之前的SoTA方法,能生產(chǎn)具有高精度細節(jié)的高分辨mesh。attention的ablation實驗也表明partattention是更加適用與3D生成的localattention機制。
結(jié)語
Ultra3D提出了一個兼顧效率與保真度的創(chuàng)新性3D生成框架,成功突破了當前主流方法在分辨率和計算成本之間的權(quán)衡瓶頸。
通過coarse-to-fine的雙階段設(shè)計,以及結(jié)構(gòu)感知的PartAttention機制,Ultra3D顯著提高了稀疏體素建模的效率,在保持高質(zhì)量輸出的同時實現(xiàn)了多倍加速,支持高達1024分辨率的三維資產(chǎn)生成。
這一方法不僅在多個定量指標上大幅超越現(xiàn)有SoTA方法,在用戶主觀評價中也表現(xiàn)優(yōu)異,能夠真實還原復(fù)雜幾何結(jié)構(gòu)和微小紋理細節(jié),如毛發(fā)、衣褶等,展現(xiàn)出卓越的細節(jié)還原能力。
更重要的是,Ultra3D具備良好的擴展性和通用性,為數(shù)字內(nèi)容創(chuàng)作、游戲建模、AR/VR、影視制作等多種下游應(yīng)用提供了更快速、更高質(zhì)的3D建模方案。
隨著生成式AI向多模態(tài)和高保真內(nèi)容生成不斷邁進,Ultra3D所展現(xiàn)出的性能和潛力,標志著高分辨率3D生成進入了一個新階段。
未來,Ultra3D有望進一步拓展到動畫、可編輯3D內(nèi)容生成以及3D-4D一體化建模等更多復(fù)雜任務(wù),成為推動AIGC向更高維空間發(fā)展的關(guān)鍵技術(shù)基石。
論文鏈接:https://arxiv.org/abs/2507.17745項目地址:https://buaacyw.github.io/ultra3d/
玄幻小說十年封神榜:這十部完本神作,每一本都曾掀起時代狂潮
免責(zé)聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。