作為Index-AniSora項(xiàng)目的一部分,V3版本在原有基礎(chǔ)上進(jìn)一步優(yōu)化了生成質(zhì)量、動(dòng)作流暢度和風(fēng)格多樣性,為動(dòng)漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了更強(qiáng)大的工具。
AniSora支持一鍵生成多種動(dòng)漫風(fēng)格的視頻鏡頭,包括番劇片段、國(guó)創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容、動(dòng)畫PV、鬼畜(MAD)等。
AniSoraV3基于B站此前開源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強(qiáng)化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺質(zhì)量和動(dòng)作一致性。其支持一鍵生成多種風(fēng)格的動(dòng)漫視頻鏡頭,包括番劇片段、國(guó)創(chuàng)動(dòng)畫、漫畫視頻改編、VTuber內(nèi)容等。
核心升級(jí)包括:
時(shí)空掩碼模塊(SpatiotemporalMaskModule)優(yōu)化:V3版本增強(qiáng)了時(shí)空控制能力,支持更復(fù)雜的動(dòng)畫任務(wù),如精細(xì)的角色表情控制、動(dòng)態(tài)鏡頭移動(dòng)和局部圖像引導(dǎo)生成。例如,提示“五位女孩在鏡頭放大時(shí)起舞,左手上舉至頭頂再下放至膝蓋”能生成流暢的舞蹈動(dòng)畫,鏡頭與角色動(dòng)作同步自然。
數(shù)據(jù)集擴(kuò)展:V3繼續(xù)依托超過1000萬高質(zhì)量動(dòng)漫視頻片段(從100萬原始視頻中提?。┻M(jìn)行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細(xì)節(jié)豐富度。
硬件優(yōu)化:V3新增對(duì)華為Ascend910BNPU的原生支持,完全基于國(guó)產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。
多任務(wù)學(xué)習(xí):V3強(qiáng)化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫改編和VTuber內(nèi)容創(chuàng)作。
在最新基準(zhǔn)測(cè)試中,AniSoraV3在VBench和雙盲主觀測(cè)試中,角色一致性和動(dòng)作流暢度均達(dá)到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動(dòng)作(如違反物理規(guī)律的夸張動(dòng)漫動(dòng)作)上表現(xiàn)突出。
V3還引入了首個(gè)針對(duì)動(dòng)漫視頻生成的RLHF框架,通過AnimeReward和GAPO等工具對(duì)模型進(jìn)行微調(diào),確保輸出更符合人類審美和動(dòng)漫風(fēng)格需求。社區(qū)開發(fā)者已開始基于V3開發(fā)定制化插件,例如增強(qiáng)特定動(dòng)漫風(fēng)格(如吉卜力風(fēng))的生成效果。
AniSoraV3支持多種動(dòng)漫風(fēng)格,包括日本動(dòng)漫、國(guó)產(chǎn)原創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容及惡搞動(dòng)畫(鬼畜動(dòng)畫),覆蓋90%的動(dòng)漫視頻應(yīng)用場(chǎng)景。具體應(yīng)用包括:
單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動(dòng)漫圖像,配合文本提示(如“角色在向前行駛的車中揮手,頭發(fā)隨風(fēng)擺動(dòng)”),即可生成動(dòng)態(tài)視頻,保持角色細(xì)節(jié)和風(fēng)格一致。
漫畫改編:從漫畫幀生成帶唇部同步和動(dòng)作的動(dòng)畫,適合快速制作預(yù)告片或短篇?jiǎng)赢嫛?/p>
VTuber與游戲:支持實(shí)時(shí)生成角色動(dòng)畫,助力獨(dú)立創(chuàng)作者和游戲開發(fā)者快速測(cè)試角色動(dòng)作。
高分辨率輸出:生成視頻支持高達(dá)1080p,確保在社交媒體、流媒體平臺(tái)上的專業(yè)呈現(xiàn)。
AIbase測(cè)試顯示,V3在生成復(fù)雜場(chǎng)景(如多角色交互、動(dòng)態(tài)背景)時(shí),相比V2減少了約15%的偽影問題,生成時(shí)間縮短至平均2.5分鐘(IT之家注:4秒視頻)。
相比OpenAI的Sora或Kling等通用視頻生成模型,AniSoraV3專注于動(dòng)漫領(lǐng)域。與字節(jié)跳動(dòng)的EX-4D相比,AniSoraV3更專注于2D/2.5D動(dòng)漫風(fēng)格,而非4D多視角生成。
6本雙豪門商業(yè)聯(lián)姻甜文,年齡差先婚后愛,嬌俏少女vs京圈老狐貍
”5《溫柔狙擊》作者:時(shí)星草一句話簡(jiǎn)介:暗戀成真,先婚后愛明艷女畫家vs隱忍男總裁,男暗戀女,先婚后愛,都市甜寵文姜青時(shí)從出生便是天之嬌女,容貌昳麗,是姜家捧著長(zhǎng)大的掌上明珠——。一場(chǎng)商業(yè)聯(lián)姻,她嫁給北城新貴沈岸,一個(gè)身形高大,長(zhǎng)相英俊,卻腹黑深沉的男人——|。知道姜青時(shí)嫁給沈岸后,不少人等著看她笑話——|。她驕縱奢靡,而 ——米亞·科托|耶穌撒冷|精英主義傲慢大佬*運(yùn)氣頗好小報(bào)記者|先婚后愛、老房子著火、年齡差9歲4《婚寵青梅》作者:遠(yuǎn)山紫嬌矜小公主vs桀驁?zhí)訝?,天降抵不過竹馬,從強(qiáng)取豪奪到老婆奴一句話簡(jiǎn)介:竹馬非逼我嫁給他竹馬上位丨強(qiáng)取豪奪聞氏遭受誣陷資金周轉(zhuǎn)出了問題。一筆新的投資款忽然從天而降-。對(duì)方的唯一條件是希望你能滿意。8本豪門先婚后愛甜文,美艷時(shí)尚攝影師vs心機(jī)深沉金融大佬