商業(yè)
代理人檔案 | 「席德」
將其與文本模態(tài)對齊
楊亮
4小時前
頂尖AI如何發(fā)揮最大戰(zhàn)力 UIUC{用一個新}多智能體協(xié)：作基準(zhǔn)尋找，答案
2025-07-29 03:01:36
93464
GPT-4o式的多模態(tài)大模型（LMMs）展現(xiàn)出在文本、視覺和語音模態(tài)上的全能能力，其在線語音服務(wù)還能在語音交互過程中同步提供中間文本結(jié)果（即用戶輸入和模型響應(yīng)的轉(zhuǎn)錄內(nèi)容），為用戶提供“邊看邊聽”的靈活交互體驗。因此，如何構(gòu)建支持文本、視覺和語音三種模態(tài)的多模態(tài)大模型成為近期研究熱點?，F(xiàn)有的多模態(tài)大模型通常利用多個編碼器提取各個模態(tài)的表示，然后將各模態(tài)表示沿序列維度拼接并輸入至大語言模型基座中以生成回復(fù)。這些基于拼接的方法簡化了模態(tài)集成過程，但它們在很大程度上依賴大規(guī)模數(shù)據(jù)，以數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)模態(tài)對齊。此外，這種基于拼接的維度對齊方式缺乏足夠的靈活性，無法像GPT-4o那樣在語音交互過程中同時生成中間文本結(jié)果。
為應(yīng)對這一挑戰(zhàn)，中國科學(xué)院計算技術(shù)研究所自然語言處理團(tuán)隊提出了文本-視覺-語音多模態(tài)大模型——Stream-Omni，其能同時支持各種模態(tài)組合下的交互。通過對各模態(tài)間的關(guān)系進(jìn)行更有針對性的建模，Stream-Omni實現(xiàn)了更加高效和靈活的文本-視覺-語音模態(tài)對齊。僅依賴包含2.3萬小時語音的多模態(tài)數(shù)據(jù)，Stream-Omni即可具備文本交互、語音交互、基于視覺的語音交互等各種模態(tài)上的交互能力。與此同時，依賴于創(chuàng)新的語音建模方式，Stream-Omni能在語音交互過程中像GPT-4o一樣同步輸出中間文本轉(zhuǎn)錄結(jié)果，為用戶提供全方位的多模態(tài)交互體驗。
論文題目：
Stream-Omni:SimultaneousMultimodalInteractionswithLargeLanguage-Vision-SpeechModel
論文鏈接：
https://arxiv.org/abs/2506.13642
開源代碼：
https://github.com/ictnlp/Stream-Omni
模型下載：
https://huggingface.co/ICTNLP/stream-omni-8b
Stream-Omni的模態(tài)對齊
現(xiàn)有多模態(tài)大模型中的模態(tài)對齊（如左圖所示）：在序列維度上將三種模態(tài)的表示進(jìn)行拼接，輸入至大語言模型基座
為了減輕對大規(guī)模三模態(tài)數(shù)據(jù)的依賴，Stream-Omni更有針對性地建模各模態(tài)之間的關(guān)系，即語音與文本應(yīng)在語義上高度一致，而視覺則在語義上對文本形成互補關(guān)系。因此，Stream-Omni對不同模態(tài)采用不同對齊方式（如右圖所示）：
視覺-文本對齊：序列維度的視覺文本拼接
語音-文本對齊：層級維度的語音文本映射
實現(xiàn)上，Stream-Omni以大語言模型（LLM）為核心，并在其底部和頂部引入語音層，通過連接時序分類（ConnectionistTemporalClassification，CTC）建模語音到文本的映射，此建模方式的優(yōu)勢在于：
支持通過語音模態(tài)進(jìn)行外部交互，同時利用文本模態(tài)在內(nèi)部控制生成的內(nèi)容；
基于CTC的語音-文本映射為語音文本在表示和結(jié)構(gòu)的對齊上提供更加直接的監(jiān)督，因此Stream-Omni能夠在僅使用少量語音數(shù)據(jù)的情況下，將LLM主干的文本能力遷移至語音模態(tài)。
層級維度映射使得Stream-Omni在語音交互過程中還能同步輸出中間文本結(jié)果（即指令和回復(fù)的轉(zhuǎn)錄文本），為用戶提供更全面的多模態(tài)體驗。
Stream-Omni
Stream-Omni以大語言模型作為主干，逐步將視覺和語音與文本對齊，高效地構(gòu)建了一個支持文本、視覺和語音的多模態(tài)大模型。在視覺-文本對齊方面，Stream-Omni采用視覺編碼器和投影模塊提取視覺表示，并將其與文本表示進(jìn)行拼接。在語音-文本對齊方面，Stream-Omni在LLM主干的底部和頂部分別引入若干語音層，用于將語音映射到文本以及基于文本生成語音。
視覺模態(tài)
基于視覺模態(tài)與文本模態(tài)之間具有語義互補性，Stream-Omni采用LLaVA架構(gòu)中的序列維度拼接的方式進(jìn)行視覺-文本對齊。
語音模態(tài)
（1）語音離散化：Stream-Omni采用CosyVoiceTokenizer對語音輸入進(jìn)行離散化，編碼為若干離散的語音單元（…）。
（2）語音到文本映射：為了充分利用LLM的能力，Stream-Omni在LLM的底部引入語音層，用于學(xué)習(xí)語音與文本之間的映射關(guān)系，從而將LLM中的文本能力遷移到語音模態(tài)中。Stream-Omni利用在ASR任務(wù)上的CTC損失直接監(jiān)督底部語音層語音表示，將其與文本模態(tài)對齊。
（3）文本生成：LLM基于輸入的視覺表示和語音表示，生成文本回復(fù)。
（4）文本到語音生成：Stream-Omni通過頂部語音層來完成文本到語音生成。為了在生成文本的同時生成語音單元，Stream-Omni在頂部語音層中引入了alignment-basedfusion模塊。Alignment-basedfusion沿用了StreamSpeech等實時生成研究中的同步生成策略，利用CTC對齊來指導(dǎo)同步生成過程。
任意模態(tài)組合下的多模態(tài)交互
Stream-Omni能夠通過靈活組合視覺編碼器、底部語音層、LLM、頂部語音層來實現(xiàn)任意模態(tài)組合下的交互。同時，由于層級維度語音文本映射，Stream-Omni能夠在語音到語音生成過程中提供中間的文本結(jié)果。
實驗結(jié)果
視覺理解能力
Stream-Omni和相同規(guī)模和數(shù)據(jù)量級的視覺大模型取得相當(dāng)?shù)谋憩F(xiàn)。
語音交互能力
在事實性的語音交互上，Stream-Omni相比于現(xiàn)有方法具有優(yōu)勢，源于層級維度的語音文本映射將LLM的文本能力遷移到語音模態(tài)上。
基于視覺的語音交互能力
在本實例中，在指令分別通過文本和語音輸入的情況下，VITA-1.5給出了兩個相互矛盾的回答：“不允許前往二樓”和“直接通往二樓”。這一在面對不同模態(tài)指令時產(chǎn)生的矛盾回應(yīng)，源于沿序列維度拼接視覺、語音和文本表示來實現(xiàn)多模態(tài)對齊的方法，并未對語音與文本模態(tài)之間的語義進(jìn)行嚴(yán)格對齊建模。相比之下，Stream-Omni引入語音到文本的映射機(jī)制，實現(xiàn)了語音與文本表示之間更精確的語義對齊。因此，Stream-Omni在不同模態(tài)下表現(xiàn)更加一致，無論指令是通過文本還是語音輸入，都能生成相似的響應(yīng)。另外，Stream-Omni還能生成高質(zhì)量的語音回復(fù)，更多實例請在https://github.com/ictnlp/Stream-Omni體驗。
總結(jié)
Stream-Omni是一個GPT-4o式的文本-視覺-語音多模態(tài)大模型，能夠支持多種模態(tài)組合下的多模態(tài)交互。
Stream-Omni能夠在語音交互過程中輸出中間文本結(jié)果，為用戶提供更全面的多模態(tài)交互體驗。
Stream-Omni關(guān)注如何構(gòu)建模態(tài)對齊，語音表現(xiàn)力等方面的增強(qiáng)不是本研究的重點，因此其在擬人化、音色多樣性等方面存在局限性。
口碑黑馬《我和超級大佬隱婚了》何以一口氣看完才過癮!
第一本：《我和超級大佬隱婚了》作者：輕舞簡介：“綿綿，嫁給我，你會得到一個有錢有顏，還能幫你虐渣渣的絕世好老公_?！薄 ∫徊恍⌒?，喬綿綿惹上云城身份最尊貴顯赫的男人墨夜司|?！ 『芸欤堑娜硕贾涝鴵P言終身不娶的墨少娶了個心頭寶回來…入坑指南：從她認(rèn)識墨夜司以來，不管他在別人面前是什么樣說完了。
高分之作《我和超級大佬隱婚了》優(yōu)質(zhì)片段錯過它是你的遺憾!
今日推薦：《我和超級大佬隱婚了》作者：輕舞-_。點擊文末超鏈接開始觀看吧～第2345章時修時修，我想聽嘛墨時修沉吟了片刻，隨后道：“好?！苯咫x等了沒一會兒，就聽到他輕輕的哼唱了起來。他唱的是一首法語歌。姜洛離聽不懂他在唱什么，卻一點也不影響她覺得他唱歌很好聽。不，是非常好聽。低沉輕柔的男希望你能滿意-|。
甜文:我和超級大佬隱婚了,一不小心惹上大boss,1V1超甜無虐!
又和各位粉絲見面了，我是愛看小說的冰露小說醬，很高興各位能夠關(guān)注我，作為十年老書迷，很樂意分享精彩的小說給大家，今天安利的是娛樂明星文，《我和超級大佬隱婚了》驚艷來襲，軟萌妹子VS強(qiáng)悍男，這幾本書的人物關(guān)系不混亂，女主人設(shè)很討喜，尤其是和男主之間的互動，真情實感的流露，不是低智商，專門為了襯托到此結(jié)束了？。
免責(zé)聲明：本文內(nèi)容由開放的智能模型自動生成，僅供參考。
網(wǎng)站信息
