作為Index-AniSora項(xiàng)目的一部分,V3版本在原有基礎(chǔ)上進(jìn)一步優(yōu)化了生成質(zhì)量、動(dòng)作流暢度和風(fēng)格多樣性,為動(dòng)漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了更強(qiáng)大的工具。
AniSora支持一鍵生成多種動(dòng)漫風(fēng)格的視頻鏡頭,包括番劇片段、國創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容、動(dòng)畫PV、鬼畜(MAD)等。
AniSoraV3基于B站此前開源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強(qiáng)化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺質(zhì)量和動(dòng)作一致性。其支持一鍵生成多種風(fēng)格的動(dòng)漫視頻鏡頭,包括番劇片段、國創(chuàng)動(dòng)畫、漫畫視頻改編、VTuber內(nèi)容等。
核心升級包括:
時(shí)空掩碼模塊(SpatiotemporalMaskModule)優(yōu)化:V3版本增強(qiáng)了時(shí)空控制能力,支持更復(fù)雜的動(dòng)畫任務(wù),如精細(xì)的角色表情控制、動(dòng)態(tài)鏡頭移動(dòng)和局部圖像引導(dǎo)生成。例如,提示“五位女孩在鏡頭放大時(shí)起舞,左手上舉至頭頂再下放至膝蓋”能生成流暢的舞蹈動(dòng)畫,鏡頭與角色動(dòng)作同步自然。
數(shù)據(jù)集擴(kuò)展:V3繼續(xù)依托超過1000萬高質(zhì)量動(dòng)漫視頻片段(從100萬原始視頻中提?。┻M(jìn)行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細(xì)節(jié)豐富度。
硬件優(yōu)化:V3新增對華為Ascend910BNPU的原生支持,完全基于國產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。
多任務(wù)學(xué)習(xí):V3強(qiáng)化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫改編和VTuber內(nèi)容創(chuàng)作。
在最新基準(zhǔn)測試中,AniSoraV3在VBench和雙盲主觀測試中,角色一致性和動(dòng)作流暢度均達(dá)到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動(dòng)作(如違反物理規(guī)律的夸張動(dòng)漫動(dòng)作)上表現(xiàn)突出。
V3還引入了首個(gè)針對動(dòng)漫視頻生成的RLHF框架,通過AnimeReward和GAPO等工具對模型進(jìn)行微調(diào),確保輸出更符合人類審美和動(dòng)漫風(fēng)格需求。社區(qū)開發(fā)者已開始基于V3開發(fā)定制化插件,例如增強(qiáng)特定動(dòng)漫風(fēng)格(如吉卜力風(fēng))的生成效果。
AniSoraV3支持多種動(dòng)漫風(fēng)格,包括日本動(dòng)漫、國產(chǎn)原創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容及惡搞動(dòng)畫(鬼畜動(dòng)畫),覆蓋90%的動(dòng)漫視頻應(yīng)用場景。具體應(yīng)用包括:
單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動(dòng)漫圖像,配合文本提示(如“角色在向前行駛的車中揮手,頭發(fā)隨風(fēng)擺動(dòng)”),即可生成動(dòng)態(tài)視頻,保持角色細(xì)節(jié)和風(fēng)格一致。
漫畫改編:從漫畫幀生成帶唇部同步和動(dòng)作的動(dòng)畫,適合快速制作預(yù)告片或短篇?jiǎng)赢嫛?/p>
VTuber與游戲:支持實(shí)時(shí)生成角色動(dòng)畫,助力獨(dú)立創(chuàng)作者和游戲開發(fā)者快速測試角色動(dòng)作。
高分辨率輸出:生成視頻支持高達(dá)1080p,確保在社交媒體、流媒體平臺上的專業(yè)呈現(xiàn)。
AIbase測試顯示,V3在生成復(fù)雜場景(如多角色交互、動(dòng)態(tài)背景)時(shí),相比V2減少了約15%的偽影問題,生成時(shí)間縮短至平均2.5分鐘(IT之家注:4秒視頻)。
相比OpenAI的Sora或Kling等通用視頻生成模型,AniSoraV3專注于動(dòng)漫領(lǐng)域。與字節(jié)跳動(dòng)的EX-4D相比,AniSoraV3更專注于2D/2.5D動(dòng)漫風(fēng)格,而非4D多視角生成。
國寶檔案在線觀看-國寶檔案
《國寶檔案》 20121008 古代科技——中醫(yī)針灸銅人
在線播放鎮(zhèn)館之寶 第04集??電影??星辰影院
免責(zé)聲明:本文內(nèi)容由開放的智能模型自動(dòng)生成,僅供參考。