張淑依
作為Index-AniSora項目的一部分,V3版本在原有基礎(chǔ)上進一步優(yōu)化了生成質(zhì)量、動作流暢度和風(fēng)格多樣性,為動漫、漫畫及VTuber內(nèi)容創(chuàng)作者提供了更強大的工具。
AniSora支持一鍵生成多種動漫風(fēng)格的視頻鏡頭,包括番劇片段、國創(chuàng)動畫、漫畫改編、VTuber內(nèi)容、動畫PV、鬼畜(MAD)等。
AniSoraV3基于B站此前開源的CogVideoX-5B和Wan2.1-14B模型,結(jié)合強化學(xué)習(xí)與人類反饋(RLHF)框架,顯著提升了生成視頻的視覺質(zhì)量和動作一致性。其支持一鍵生成多種風(fēng)格的動漫視頻鏡頭,包括番劇片段、國創(chuàng)動畫、漫畫視頻改編、VTuber內(nèi)容等。
核心升級包括:
時空掩碼模塊(SpatiotemporalMaskModule)優(yōu)化:V3版本增強了時空控制能力,支持更復(fù)雜的動畫任務(wù),如精細的角色表情控制、動態(tài)鏡頭移動和局部圖像引導(dǎo)生成。例如,提示“五位女孩在鏡頭放大時起舞,左手上舉至頭頂再下放至膝蓋”能生成流暢的舞蹈動畫,鏡頭與角色動作同步自然。
數(shù)據(jù)集擴展:V3繼續(xù)依托超過1000萬高質(zhì)量動漫視頻片段(從100萬原始視頻中提?。┻M行訓(xùn)練,新增數(shù)據(jù)清洗流水線,確保生成內(nèi)容的風(fēng)格一致性和細節(jié)豐富度。
硬件優(yōu)化:V3新增對華為Ascend910BNPU的原生支持,完全基于國產(chǎn)芯片訓(xùn)練,推理速度提升約20%,生成4秒高清視頻僅需2-3分鐘。
多任務(wù)學(xué)習(xí):V3強化了多任務(wù)處理能力,支持從單幀圖像生成視頻、關(guān)鍵幀插值到唇部同步等功能,特別適合漫畫改編和VTuber內(nèi)容創(chuàng)作。
在最新基準(zhǔn)測試中,AniSoraV3在VBench和雙盲主觀測試中,角色一致性和動作流暢度均達到業(yè)界頂尖水平(SOTA),尤其在復(fù)雜動作(如違反物理規(guī)律的夸張動漫動作)上表現(xiàn)突出。
V3還引入了首個針對動漫視頻生成的RLHF框架,通過AnimeReward和GAPO等工具對模型進行微調(diào),確保輸出更符合人類審美和動漫風(fēng)格需求。社區(qū)開發(fā)者已開始基于V3開發(fā)定制化插件,例如增強特定動漫風(fēng)格(如吉卜力風(fēng))的生成效果。
AniSoraV3支持多種動漫風(fēng)格,包括日本動漫、國產(chǎn)原創(chuàng)動畫、漫畫改編、VTuber內(nèi)容及惡搞動畫(鬼畜動畫),覆蓋90%的動漫視頻應(yīng)用場景。具體應(yīng)用包括:
單圖轉(zhuǎn)視頻:用戶上傳一張高質(zhì)量動漫圖像,配合文本提示(如“角色在向前行駛的車中揮手,頭發(fā)隨風(fēng)擺動”),即可生成動態(tài)視頻,保持角色細節(jié)和風(fēng)格一致。
漫畫改編:從漫畫幀生成帶唇部同步和動作的動畫,適合快速制作預(yù)告片或短篇動畫。
VTuber與游戲:支持實時生成角色動畫,助力獨立創(chuàng)作者和游戲開發(fā)者快速測試角色動作。
高分辨率輸出:生成視頻支持高達1080p,確保在社交媒體、流媒體平臺上的專業(yè)呈現(xiàn)。
AIbase測試顯示,V3在生成復(fù)雜場景(如多角色交互、動態(tài)背景)時,相比V2減少了約15%的偽影問題,生成時間縮短至平均2.5分鐘(IT之家注:4秒視頻)。
相比OpenAI的Sora或Kling等通用視頻生成模型,AniSoraV3專注于動漫領(lǐng)域。與字節(jié)跳動的EX-4D相比,AniSoraV3更專注于2D/2.5D動漫風(fēng)格,而非4D多視角生成。
游戲停服前夜,他狂購裝備,竟迎來游戲入侵現(xiàn)實
《傳奇:我在末世具現(xiàn)裝備》作者:雁城大官人第1章穿越末世末日廢土,到處都是殘存的混凝土廢墟。在一座土石堆砌起來的營寨周圍,有著一大片用各種廢棄物搭建的簡易而又破爛的帳篷_。各種垃圾遍地都是,空氣中散發(fā)著難聞的惡臭,一副十足的難民營的景象。夏承臉色蒼白躺在一座帳篷里的草席上,腿上扎著繃帶,手臂上希望你能滿意。
小說:末世缺資源?傳奇玩家穿越,神裝藥品應(yīng)有盡有!
事情的起因源自一款開放世界多人聯(lián)機末日生存游戲,【末日黎明】|_。這款游戲一出,受到了全球人們的追捧,幾乎席卷了整個藍星。但讓人沒想到的是,在游戲上線一周年當(dāng)天,【末日黎明】降臨現(xiàn)實世界。嗜血的喪尸、狂暴的異獸、無數(shù)不可名狀的恐怖生物降臨藍星_|。打怪爆裝備,荒野求生,覺醒異能,刷副本升級還有呢?原本只存在還有呢?
小說:末世降臨我?guī)OL技能,虐怪升級變超人!
《全球災(zāi)變之末日游戲》作者:我愛吃貓片第1章我于死亡中重生枯敗、荒涼——。城市中,茂盛的雜草從堅硬的水泥中鉆出,滿地白骨。林安拖著沉重的雙腿,吃力地奔跑。肺部火辣辣的疼痛,呼吸牽引著斷掉的肋骨一陣痛楚。身后是成群嘶吼的喪尸,面目猙獰-。不敢停歇。一旦停下,這群復(fù)生的死者會將他撕成碎片,啃食他的好了吧!
來源:紅網(wǎng)
作者:陳琬婷
編輯:鄭瑜哲
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個人觀點,不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。