邱天月
作為Index-AniSora項(xiàng)目的一部分,V3版本在原有基礎(chǔ)上進(jìn)一步優(yōu)化了生成質(zhì)量、動(dòng)作流暢度和風(fēng)格多樣性,為動(dòng)漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了更強(qiáng)大的工具。
AniSora支持一鍵生成多種動(dòng)漫風(fēng)格的視頻鏡頭,包括番劇片段、國創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容、動(dòng)畫PV、鬼畜(MAD)等。
AniSoraV3基于B站此前開源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強(qiáng)化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺質(zhì)量和動(dòng)作一致性。其支持一鍵生成多種風(fēng)格的動(dòng)漫視頻鏡頭,包括番劇片段、國創(chuàng)動(dòng)畫、漫畫視頻改編、VTuber內(nèi)容等。
核心升級包括:
時(shí)空掩碼模塊(SpatiotemporalMaskModule)優(yōu)化:V3版本增強(qiáng)了時(shí)空控制能力,支持更復(fù)雜的動(dòng)畫任務(wù),如精細(xì)的角色表情控制、動(dòng)態(tài)鏡頭移動(dòng)和局部圖像引導(dǎo)生成。例如,提示“五位女孩在鏡頭放大時(shí)起舞,左手上舉至頭頂再下放至膝蓋”能生成流暢的舞蹈動(dòng)畫,鏡頭與角色動(dòng)作同步自然。
數(shù)據(jù)集擴(kuò)展:V3繼續(xù)依托超過1000萬高質(zhì)量動(dòng)漫視頻片段(從100萬原始視頻中提?。┻M(jìn)行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細(xì)節(jié)豐富度。
硬件優(yōu)化:V3新增對華為Ascend910BNPU的原生支持,完全基于國產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。
多任務(wù)學(xué)習(xí):V3強(qiáng)化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫改編和VTuber內(nèi)容創(chuàng)作。
在最新基準(zhǔn)測試中,AniSoraV3在VBench和雙盲主觀測試中,角色一致性和動(dòng)作流暢度均達(dá)到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動(dòng)作(如違反物理規(guī)律的夸張動(dòng)漫動(dòng)作)上表現(xiàn)突出。
V3還引入了首個(gè)針對動(dòng)漫視頻生成的RLHF框架,通過AnimeReward和GAPO等工具對模型進(jìn)行微調(diào),確保輸出更符合人類審美和動(dòng)漫風(fēng)格需求。社區(qū)開發(fā)者已開始基于V3開發(fā)定制化插件,例如增強(qiáng)特定動(dòng)漫風(fēng)格(如吉卜力風(fēng))的生成效果。
AniSoraV3支持多種動(dòng)漫風(fēng)格,包括日本動(dòng)漫、國產(chǎn)原創(chuàng)動(dòng)畫、漫畫改編、VTuber內(nèi)容及惡搞動(dòng)畫(鬼畜動(dòng)畫),覆蓋90%的動(dòng)漫視頻應(yīng)用場景。具體應(yīng)用包括:
單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動(dòng)漫圖像,配合文本提示(如“角色在向前行駛的車中揮手,頭發(fā)隨風(fēng)擺動(dòng)”),即可生成動(dòng)態(tài)視頻,保持角色細(xì)節(jié)和風(fēng)格一致。
漫畫改編:從漫畫幀生成帶唇部同步和動(dòng)作的動(dòng)畫,適合快速制作預(yù)告片或短篇?jiǎng)赢嫛?/p>
VTuber與游戲:支持實(shí)時(shí)生成角色動(dòng)畫,助力獨(dú)立創(chuàng)作者和游戲開發(fā)者快速測試角色動(dòng)作。
高分辨率輸出:生成視頻支持高達(dá)1080p,確保在社交媒體、流媒體平臺上的專業(yè)呈現(xiàn)。
AIbase測試顯示,V3在生成復(fù)雜場景(如多角色交互、動(dòng)態(tài)背景)時(shí),相比V2減少了約15%的偽影問題,生成時(shí)間縮短至平均2.5分鐘(IT之家注:4秒視頻)。
相比OpenAI的Sora或Kling等通用視頻生成模型,AniSoraV3專注于動(dòng)漫領(lǐng)域。與字節(jié)跳動(dòng)的EX-4D相比,AniSoraV3更專注于2D/2.5D動(dòng)漫風(fēng)格,而非4D多視角生成。
四本玄幻小說推薦,不看是你的損失,《重生之絕世武神》上榜!
《重生之絕世武神》:絕代武神楊騰因得到一件帝器,遭人陷害引來殺身之禍,重生在十六歲。憑借著千年閱歷學(xué)《重生之絕世武神》作者:風(fēng)一刀
良心大作《重生之絕世武神》,天命所至,從岌岌無名到一呼百應(yīng)的人生!
#小說推薦#小編今天給大家推薦:四本玄幻小說,推薦《重生之絕世神醫(yī)》書評9.3分,通宵看個(gè)爽?。?!第一本:《絕世武神》短書評:九州大陸,武道為尊-——。林慕白,本為資質(zhì)平平的一介普通武修,意外雷劫加身,得神秘九色云圖附體,自此踏上了以武證道的強(qiáng)者之路||。上古封印破裂,古魔現(xiàn)世作亂,這是一個(gè)充滿血與骨說完了。
獨(dú)家收藏《重生之絕世武神》,少年,你不按套路出牌的樣子真的很靚仔
《不滅龍尊》作者:北宮劍第2章兩家打壓楚府院落中——。一口極為晦氣的棺材就放在了院落中央。叮叮當(dāng)當(dāng)!棺材四周,刀光劍影,楚家和宋家的武仆一片混戰(zhàn)|?!八芜h(yuǎn)航!你們宋家想要吞并楚家,就先從老娘的尸體上踏過去!”突然之間,一位美少婦也是現(xiàn)身,就要加入戰(zhàn)斗_——。美少婦,乃是楚炎的母上、楚家家主夫人——林有幫助請點(diǎn)贊|_。
來源:紅網(wǎng)
作者:張士銘
編輯:黃紫全
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個(gè)人觀點(diǎn),不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。