黨俊

過(guò)去半年，「AI語(yǔ)音」賽道正密集地獲得融資。尤其引人注目的是，這些融資多為大額，并且投向早期團(tuán)隊(duì)。

比如，前不久AI語(yǔ)音應(yīng)用WisprFlow靠「默念輸入」，完成了3000萬(wàn)美元的A輪融資，累計(jì)融資額已達(dá)5600萬(wàn)美元；語(yǔ)音模型公司Cartesia在3月份完成了6400萬(wàn)美元的A輪融資，累計(jì)融資9100萬(wàn)美元；AI語(yǔ)音合成公司ElevenLabs更是在1月份宣布完成1.8億美元的C輪融資，估值超過(guò)30億美元。

與此同時(shí)，無(wú)論是Meta、OpenAI、Google等科技巨頭，還是MiniMax等創(chuàng)業(yè)公司，都在密集發(fā)布自己的語(yǔ)音模型或語(yǔ)音產(chǎn)品。Siri也被曝出或?qū)⒈籆hatGPT或Claude等模型接管，來(lái)跟上語(yǔ)音交互的進(jìn)展。

這些消息無(wú)一例外都指向了AI語(yǔ)音的火爆。

為什么過(guò)去半年多以來(lái)，AI語(yǔ)音領(lǐng)域會(huì)如此集中地爆發(fā)？

聲智副總裁黃赟賀認(rèn)為，語(yǔ)音對(duì)話(huà)從一個(gè)App中的功能模塊，迅速進(jìn)化為AI時(shí)代入口級(jí)別的存在，與大模型的加持有極大關(guān)系。

在智能音箱紅極一時(shí)的年代，大部分我們熟知的智能音箱品牌都搭載了聲智的遠(yuǎn)場(chǎng)聲學(xué)交互技術(shù)，比如小愛(ài)同學(xué)、天貓精靈、小度音箱等等。而「小愛(ài)小愛(ài)」的喚醒詞，實(shí)際上也是來(lái)自于聲智。

這家公司創(chuàng)辦于2016年，一直在聲學(xué)+AI交叉領(lǐng)域探索。然而，作為一家在幕后提供AI聲學(xué)技術(shù)的公司，在大模型浪潮來(lái)臨之后，果斷選擇下場(chǎng)投身開(kāi)發(fā)自己的C端產(chǎn)品。毫無(wú)疑問(wèn)，他們看到了這波「大模型+語(yǔ)音」浪潮里新的商業(yè)機(jī)會(huì)，其旗下的AI耳機(jī)目前出貨量已接近100萬(wàn)套。

前不久，極客公園與聲智副總裁黃赟賀聊了聊AI語(yǔ)音市場(chǎng)的爆發(fā)邏輯、語(yǔ)音交互的「卡點(diǎn)」，以及它將如何影響我們的未來(lái)。

以下內(nèi)容根據(jù)黃赟賀的講述和聲智的論文整理而成：

AI語(yǔ)音為何現(xiàn)在爆發(fā)了？

最近兩年，越來(lái)越多的AI語(yǔ)音初創(chuàng)團(tuán)隊(duì)獲得大額融資，集中爆發(fā)。

其中，一個(gè)很重要的推動(dòng)因素是，大模型讓聲音這項(xiàng)基礎(chǔ)能力首次實(shí)現(xiàn)了「可編程化」。

「可編程化」這個(gè)詞，意味著將一種能力或者一個(gè)對(duì)象，通過(guò)清晰的接口和邏輯，變得可以被代碼自由地調(diào)用、組合、修改和控制。過(guò)去，文字是可編程的，圖像是可編程的，甚至視頻也是可編程的（比如視頻編輯軟件）。

但聲音更多的是一種「輸入」或「輸出」的介質(zhì)，其內(nèi)部的復(fù)雜結(jié)構(gòu)和信息，很難被軟件直接「編程」和「理解」。

傳統(tǒng)的語(yǔ)音識(shí)別，更多是把聲音轉(zhuǎn)換成文字，然后對(duì)文字進(jìn)行處理。

比如，之前在深圳、成都有很多做聲音標(biāo)注的團(tuán)隊(duì)，拿到語(yǔ)音之后，再人工轉(zhuǎn)換成文字，打上不同的標(biāo)簽，比如各種特征、意向的標(biāo)簽。

大模型來(lái)了之后，打標(biāo)簽的這項(xiàng)工作可以交給大模型，它比大量的人工團(tuán)隊(duì)標(biāo)得快和準(zhǔn)。

以前做NLP的背后都是一堆苦逼的運(yùn)營(yíng)在那里打標(biāo)簽，讓AI系統(tǒng)能夠識(shí)別每個(gè)句子的意向。過(guò)去，語(yǔ)音的開(kāi)發(fā)，每增加一個(gè)功能，都需要從頭寫(xiě)代碼，費(fèi)時(shí)費(fèi)力。比如，想讓智能音箱支持「點(diǎn)外賣(mài)」，得單獨(dú)開(kāi)發(fā)一套語(yǔ)音識(shí)別和語(yǔ)義邏輯，成本高、周期長(zhǎng)。

而現(xiàn)在A(yíng)I大模型可以解決了。

更重要的，依靠大模型對(duì)多模態(tài)數(shù)據(jù)的深度理解能力，對(duì)聲學(xué)信號(hào)的更細(xì)致解析，使得聲音本身攜帶的除了文字信息之外的更多信息，開(kāi)始被AI系統(tǒng)直接捕捉、理解和「編程」。

這種可編程化，意味著AI可以像處理數(shù)據(jù)一樣處理聲音。它可以分析聲音的頻率、振幅、波形，提取出情緒特征、識(shí)別不同的聲源、聲源距離、甚至預(yù)測(cè)你的意圖。

這時(shí)，聲音包含的不再僅僅是「你說(shuō)了什么」，更是「你如何說(shuō)」、「你在哪里說(shuō)」、「誰(shuí)在說(shuō)」以及「你說(shuō)了之后希望發(fā)生什么」。

由此，聲音也成為了真正的交互引擎。

真正的語(yǔ)音交互，不是「Voice」而是「Sound」

其實(shí)，很多人以為，語(yǔ)音交互就是「Voice」（語(yǔ)音）。但其實(shí)Voice這個(gè)詞是一個(gè)狹窄概念。真正的語(yǔ)音交互，核心不是「Voice」，而是「Sound」（聲音）。Sound里面包含了Voice。

具體來(lái)說(shuō)，「Sound」包含了更豐富的元素：語(yǔ)調(diào)、音色、節(jié)奏、情緒，更重要的是環(huán)境音。環(huán)境音里面可能包含了環(huán)境中的各種非語(yǔ)音信息，比如背景音樂(lè)、環(huán)境噪音（風(fēng)聲、雨聲、車(chē)聲）、物體發(fā)出的聲音（開(kāi)門(mén)聲、打字聲）、以及人類(lèi)語(yǔ)音中包含的非語(yǔ)義信息（語(yǔ)調(diào)、語(yǔ)速、音色、語(yǔ)氣詞、嘆息聲、笑聲、哭聲等）。

比如說(shuō)，你咳嗽的時(shí)候，跟AI說(shuō)話(huà)，它可能會(huì)識(shí)別出咳嗽，然后跟你說(shuō)多喝水；比如，你在咖啡館說(shuō)，「幫我找個(gè)安靜的地方」，AI不僅要理解你的指令，還要從背景音中判斷出你當(dāng)前的環(huán)境嘈雜，從而推薦附近的圖書(shū)館。

當(dāng)我說(shuō)「下一代對(duì)話(huà)交互的入口并非『Voice』，而是『Sound』」時(shí)，我指的是AI系統(tǒng)將不再僅僅依賴(lài)于識(shí)別你說(shuō)的「詞」，而是能夠全面感知和理解你所處環(huán)境的「聲學(xué)場(chǎng)景」中的所有關(guān)鍵元素。

只有當(dāng)AI能夠全面感知并解析「Sound」中包含的這些多維度信息時(shí)，它才能真正理解用戶(hù)的深層需求，提供更精準(zhǔn)、更個(gè)性化、更富有情感的交互。這才是真正的「語(yǔ)音交互」，它不僅僅是「聽(tīng)懂」字面意思，更是「聽(tīng)懂」你的「言外之意」和「心聲」。

語(yǔ)音交互的「卡點(diǎn)」，大廠(chǎng)燒錢(qián)也沒(méi)用

盡管大模型帶來(lái)了語(yǔ)音交互的巨大飛躍，但語(yǔ)音交互當(dāng)下依然存在一個(gè)核心的「卡點(diǎn)」，而這個(gè)卡點(diǎn)根植于物理學(xué)，具體來(lái)說(shuō)，就是聲學(xué)。

我們常說(shuō)「聽(tīng)清、聽(tīng)懂、會(huì)說(shuō)」?！嘎?tīng)懂」和「會(huì)說(shuō)」的能力，正在被大模型以前所未有的速度提升。但「聽(tīng)清」這個(gè)最基礎(chǔ)的環(huán)節(jié)，卻受到物理層面的制約。如果AI聽(tīng)不清你的指令，即便它能「聽(tīng)懂」再?gòu)?fù)雜的語(yǔ)義，能「會(huì)說(shuō)」再動(dòng)聽(tīng)的話(huà)語(yǔ)，那也都是空中樓閣。

比如說(shuō)當(dāng)下最熱門(mén)的具身智能，現(xiàn)在很多機(jī)器人都是電驅(qū)動(dòng)的，那么它帶來(lái)幾個(gè)大問(wèn)題，一方面是電路的噪聲本身就很大，另一方面是關(guān)節(jié)噪聲，還有就是很多機(jī)器人是金屬材質(zhì)，厚厚的，聲音在穿透時(shí)會(huì)大幅衰減。

所以，機(jī)器人動(dòng)起來(lái)的時(shí)候，噪聲很大，尤其在室外，更難聽(tīng)清楚人的指令。要么大聲喊，或者拿麥克風(fēng)喊。因此，現(xiàn)在很多機(jī)器人都要靠遙控器來(lái)控制。

這方面，其實(shí)就需要對(duì)聲學(xué)層面的突破，比如說(shuō)環(huán)境噪聲的抑制，比如電路底噪的抑制，還有嘯叫的抑制、混響回響的抑制等等。

而這些就是物理學(xué)科的邏輯，它需要數(shù)據(jù)樣本，需要knowhow的壁壘，不僅是技術(shù)問(wèn)題，而是時(shí)間的問(wèn)題，需要時(shí)間去采集聲音、做訓(xùn)練。

這不是燒錢(qián)能解決的。

讓AI準(zhǔn)確地「聽(tīng)清」用戶(hù)的指令，依然是一個(gè)世界級(jí)的難題。而聲學(xué)相關(guān)的人才很少，所以像谷歌、微軟、蘋(píng)果經(jīng)常會(huì)收購(gòu)聲學(xué)技術(shù)的初創(chuàng)公司，幾乎只要出來(lái)一家就會(huì)收購(gòu)他們。

大家都明白，要構(gòu)建真正的下一代人機(jī)交互系統(tǒng)，擁有核心的聲學(xué)能力是基石。

語(yǔ)音交互的下一站，是實(shí)現(xiàn)「共情」

現(xiàn)在很多AI應(yīng)用的日活、留存不高，有個(gè)很大的原因就是普通人本身是不會(huì)提問(wèn)的，讓人向大模型提問(wèn)，這本身就是一個(gè)非常高的交互門(mén)檻。

好的提問(wèn)還需要學(xué)識(shí)、表達(dá)等基礎(chǔ)，所以停留在文字層面的問(wèn)答，本身就是一種門(mén)檻限制。

而語(yǔ)音帶來(lái)的一種可能性是，它正在開(kāi)啟一個(gè)全新的階段——人機(jī)交互的「共情模式」。

如果把語(yǔ)音交互比作一個(gè)「UI界面」，那這個(gè)界面會(huì)長(zhǎng)什么樣？我們可以做個(gè)推演，它的構(gòu)成要素可能會(huì)有：

情緒識(shí)別：AI通過(guò)分析語(yǔ)調(diào)、音量、語(yǔ)速，判斷用戶(hù)的情感狀態(tài)。比如，你的聲音顫抖，AI可能推測(cè)你在緊張或傷心。

意圖理解：不僅聽(tīng)懂你說(shuō)了什么，還要明白你想做什么。比如，你說(shuō)「播放音樂(lè)」，AI會(huì)根據(jù)你的情緒，決定是放搖滾還是古典。

聲紋識(shí)別：通過(guò)獨(dú)一無(wú)二的音聲波特征，區(qū)分不同用戶(hù)。比如，家里的智能音箱能自動(dòng)切換到「孩子模式」模式，只為孩子的聲音提供安全的回應(yīng)。

情緒生成：AI的回應(yīng)需要帶有情感化的表達(dá)。比如，用溫暖的語(yǔ)氣說(shuō)「別擔(dān)心，我來(lái)幫你解決」，而不是機(jī)械的「好的，正在處理」。

這些要素的背后，是AI從「功能導(dǎo)向」到「情感導(dǎo)向」的轉(zhuǎn)變，AI會(huì)與人實(shí)現(xiàn)共情。這種交互，能顯著提升長(zhǎng)時(shí)間交互的質(zhì)量和親密感。

不僅如此，從狹義的「Voice」拓展到廣義的「Sound」，當(dāng)AI能接收到的不僅僅是用戶(hù)的指令，而是整個(gè)物理世界的實(shí)時(shí)反饋時(shí)，我們可以去構(gòu)建一個(gè)「聲學(xué)世界模型」。

這個(gè)「聲學(xué)世界模型」可以理解聲音在物理世界中產(chǎn)生、傳播和交互的根本規(guī)律，它不僅要「聽(tīng)清」和「聽(tīng)懂」，更要具備「聲學(xué)常識(shí)」和「聲學(xué)推理」的能力：它能從一聲悶響中分辨出是書(shū)本落地還是箱子倒塌；能通過(guò)回聲判斷出房間的大小與空曠程度；更能理解「腳步聲由遠(yuǎn)及近」背后所蘊(yùn)含的物理運(yùn)動(dòng)邏輯。

未來(lái)，當(dāng)這樣一個(gè)聲學(xué)世界模型與視覺(jué)、語(yǔ)言大模型深度融合時(shí)，具身智能機(jī)器人將不再「失聰」和冰冷。這也是我們正在做的。

小說(shuō):流落荒島求生難,美女環(huán)繞更易處,看我如何馴服眾佳人

小說(shuō):荒島求生,與美女共度艱難日子,前途未知刺激無(wú)限

小說(shuō):荒島求生,與三大美女共度余生