作為Index-AniSora項(xiàng)目的一部分,V3版本在原有基礎(chǔ)上進(jìn)一步優(yōu)化了生成質(zhì)量、動(dòng)作流暢度和風(fēng)格多樣性,為動(dòng)漫、漫畫(huà)及VTuber內(nèi)容創(chuàng)作者提供了更強(qiáng)大的工具。
AniSora支持一鍵生成多種動(dòng)漫風(fēng)格的視頻鏡頭,包括番劇片段、國(guó)創(chuàng)動(dòng)畫(huà)、漫畫(huà)改編、VTuber內(nèi)容、動(dòng)畫(huà)PV、鬼畜(MAD)等。
AniSoraV3基于B站此前開(kāi)源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強(qiáng)化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺(jué)質(zhì)量和動(dòng)作一致性。其支持一鍵生成多種風(fēng)格的動(dòng)漫視頻鏡頭,包括番劇片段、國(guó)創(chuàng)動(dòng)畫(huà)、漫畫(huà)視頻改編、VTuber內(nèi)容等。
核心升級(jí)包括:
時(shí)空掩碼模塊(SpatiotemporalMaskModule)優(yōu)化:V3版本增強(qiáng)了時(shí)空控制能力,支持更復(fù)雜的動(dòng)畫(huà)任務(wù),如精細(xì)的角色表情控制、動(dòng)態(tài)鏡頭移動(dòng)和局部圖像引導(dǎo)生成。例如,提示“五位女孩在鏡頭放大時(shí)起舞,左手上舉至頭頂再下放至膝蓋”能生成流暢的舞蹈動(dòng)畫(huà),鏡頭與角色動(dòng)作同步自然。
數(shù)據(jù)集擴(kuò)展:V3繼續(xù)依托超過(guò)1000萬(wàn)高質(zhì)量動(dòng)漫視頻片段(從100萬(wàn)原始視頻中提?。┻M(jìn)行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細(xì)節(jié)豐富度。
硬件優(yōu)化:V3新增對(duì)華為Ascend910BNPU的原生支持,完全基于國(guó)產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。
多任務(wù)學(xué)習(xí):V3強(qiáng)化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫(huà)改編和VTuber內(nèi)容創(chuàng)作。
在最新基準(zhǔn)測(cè)試中,AniSoraV3在VBench和雙盲主觀測(cè)試中,角色一致性和動(dòng)作流暢度均達(dá)到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動(dòng)作(如違反物理規(guī)律的夸張動(dòng)漫動(dòng)作)上表現(xiàn)突出。
V3還引入了首個(gè)針對(duì)動(dòng)漫視頻生成的RLHF框架,通過(guò)AnimeReward和GAPO等工具對(duì)模型進(jìn)行微調(diào),確保輸出更符合人類審美和動(dòng)漫風(fēng)格需求。社區(qū)開(kāi)發(fā)者已開(kāi)始基于V3開(kāi)發(fā)定制化插件,例如增強(qiáng)特定動(dòng)漫風(fēng)格(如吉卜力風(fēng))的生成效果。
AniSoraV3支持多種動(dòng)漫風(fēng)格,包括日本動(dòng)漫、國(guó)產(chǎn)原創(chuàng)動(dòng)畫(huà)、漫畫(huà)改編、VTuber內(nèi)容及惡搞動(dòng)畫(huà)(鬼畜動(dòng)畫(huà)),覆蓋90%的動(dòng)漫視頻應(yīng)用場(chǎng)景。具體應(yīng)用包括:
單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動(dòng)漫圖像,配合文本提示(如“角色在向前行駛的車中揮手,頭發(fā)隨風(fēng)擺動(dòng)”),即可生成動(dòng)態(tài)視頻,保持角色細(xì)節(jié)和風(fēng)格一致。
漫畫(huà)改編:從漫畫(huà)幀生成帶唇部同步和動(dòng)作的動(dòng)畫(huà),適合快速制作預(yù)告片或短篇?jiǎng)赢?huà)。
VTuber與游戲:支持實(shí)時(shí)生成角色動(dòng)畫(huà),助力獨(dú)立創(chuàng)作者和游戲開(kāi)發(fā)者快速測(cè)試角色動(dòng)作。
高分辨率輸出:生成視頻支持高達(dá)1080p,確保在社交媒體、流媒體平臺(tái)上的專業(yè)呈現(xiàn)。
AIbase測(cè)試顯示,V3在生成復(fù)雜場(chǎng)景(如多角色交互、動(dòng)態(tài)背景)時(shí),相比V2減少了約15%的偽影問(wèn)題,生成時(shí)間縮短至平均2.5分鐘(IT之家注:4秒視頻)。
相比OpenAI的Sora或Kling等通用視頻生成模型,AniSoraV3專注于動(dòng)漫領(lǐng)域。與字節(jié)跳動(dòng)的EX-4D相比,AniSoraV3更專注于2D/2.5D動(dòng)漫風(fēng)格,而非4D多視角生成。
小說(shuō):敵對(duì)立卻暗生情愫,共赴黃泉奪凰圖,愛(ài)恨交織!
4本越看越上癮的男強(qiáng)女強(qiáng)小說(shuō),《凰權(quán)》齁甜了
連《凰權(quán)》都落敗,它憑借著超高的人氣脫穎而出,被書(shū)迷一路狂追
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。