今年的世界人工智能大會(huì)(WAIC2025),國(guó)產(chǎn)算力芯片的發(fā)展仍然備受關(guān)注。
在后摩智能展臺(tái),后摩智能M50系列產(chǎn)品首次亮相,后摩智能M50芯片與力謀?BX50計(jì)算盒子、力擎LQ50DuoM.2卡等旗下核心產(chǎn)品一同位于展臺(tái)的核心位置。
作為主打端邊大模型和存算一體的芯片企業(yè),后摩智能這次帶來(lái)的M50芯片專(zhuān)為大模型推理設(shè)計(jì),主要面向AIPC(人工智能個(gè)人電腦)、智能終端等場(chǎng)景。
“未來(lái)大模型有兩個(gè)重要發(fā)展趨勢(shì):一是大模型的重心逐漸從訓(xùn)練向推理遷移。二是逐漸從云端智能逐漸向邊端或者端邊智能遷移。”7月25日,后摩智能CEO(首席執(zhí)行官)吳強(qiáng)對(duì)觀(guān)察者網(wǎng)等表示。
他認(rèn)為,未來(lái)的計(jì)算格局有可能是端、邊、云的混合體,但是90%的數(shù)據(jù)處理可能會(huì)在端和邊,只有10%的訓(xùn)練算到云端做更昂貴或者更復(fù)雜的任務(wù)在云端做。
圖源:觀(guān)察者網(wǎng)
后摩智能創(chuàng)立于2020年,創(chuàng)立早期定位為基于存算一體技術(shù)的大算力AI(人工智能)芯片研發(fā)企業(yè)。創(chuàng)始人吳強(qiáng)擁有美國(guó)普林斯頓大學(xué)博士學(xué)位,曾任地平線(xiàn)CTO(首席技術(shù)官)。
M50芯片被視為后摩智能過(guò)去兩年交出的一份答卷。
據(jù)介紹,M50芯片實(shí)現(xiàn)了160TOPSINT8、100TFLOPSbFP16的物理算力,搭配最大48GB內(nèi)存與153.6GB/s的超高帶寬,典型功耗僅10W,相當(dāng)于手機(jī)快充的功率,能讓PC、智能語(yǔ)音設(shè)備、機(jī)器人等智能移動(dòng)終端高效運(yùn)行1.5B到70B參數(shù)的本地大模型,實(shí)現(xiàn)了“高算力、低功耗、即插即用”。
除了M50芯片,后摩智能此次發(fā)布的產(chǎn)品矩陣形成了覆蓋端側(cè)到邊緣的多元算力方案。力擎LQ50DuoM.2卡以口香糖大小的標(biāo)準(zhǔn)M.2規(guī)格,為AIPC、陪伴機(jī)器人等移動(dòng)終端提供“即插即用”的端側(cè)AI能力。
吳強(qiáng)曾表示,國(guó)產(chǎn)替代的企業(yè)可以對(duì)標(biāo)海外的某類(lèi)產(chǎn)品,但絕不能用同樣的技術(shù)路徑進(jìn)行照搬,如英偉達(dá)、AMD等國(guó)際巨頭的研發(fā)、工程、供應(yīng)鏈能力遠(yuǎn)超過(guò)初創(chuàng)企業(yè),硬碰硬難以取得成功,創(chuàng)業(yè)公司需要另辟蹊徑,以一種差異化的技術(shù)路線(xiàn)來(lái)應(yīng)對(duì)和巨頭們之間的競(jìng)爭(zhēng)。
當(dāng)前,后摩智能通過(guò)存算一體技術(shù)與大模型的深度融合,推動(dòng)AI大模型在端邊側(cè)實(shí)現(xiàn)“離線(xiàn)可用、數(shù)據(jù)留痕不外露”。
吳強(qiáng)稱(chēng),M50芯片的發(fā)布是后摩智能現(xiàn)階段邁出的重要的一步,后面會(huì)推出更多的芯片去解決端邊大模型的算力和功耗問(wèn)題以及帶寬問(wèn)題。“長(zhǎng)期來(lái)說(shuō),后摩希望定位在端邊AI計(jì)算。”
在他看來(lái),M50的發(fā)布只是一個(gè)開(kāi)始,“我們的目標(biāo)是讓大模型算力像電力一樣隨處可得、隨取隨用?!?/p>
圖源:觀(guān)察者網(wǎng)
“無(wú)論是商業(yè)還是個(gè)人,端邊的AI都有可能成為更懂你的AI。因?yàn)樗旧硎怯泻芏嗵焐膬?yōu)勢(shì),盡管剛剛開(kāi)始,大模型剛剛開(kāi)始,端邊剛剛開(kāi)始,但是它本身有更好的實(shí)時(shí)響應(yīng),更低的使用成本,更安全的數(shù)據(jù)隱私,以及更好的個(gè)人的用戶(hù)體驗(yàn)。未來(lái)這會(huì)成為一個(gè)趨勢(shì)?!眳菑?qiáng)說(shuō)。
2024年初,后摩智能把第一代芯片調(diào)整了一版,推出了M30,針對(duì)大模型做了一些調(diào)整和優(yōu)化。
本次推出的M50產(chǎn)品可廣泛應(yīng)用于消費(fèi)終端、智能辦公、智能工業(yè)等多元領(lǐng)域,且均能在離線(xiàn)狀態(tài)下實(shí)現(xiàn)全流程本地處理,從源頭杜絕數(shù)據(jù)聯(lián)網(wǎng)傳輸風(fēng)險(xiǎn)。
吳強(qiáng)還披露了當(dāng)下后摩智能的意向客戶(hù),包括聯(lián)想的下一代AIPC產(chǎn)品、訊飛聽(tīng)見(jiàn)的下一代智能語(yǔ)音設(shè)備以及中國(guó)移動(dòng)的全新一代的5G+AI邊緣計(jì)算設(shè)備等。
“目前我們看重幾個(gè)領(lǐng)域,一是平板和電腦這種消費(fèi)終端類(lèi),大模型是生產(chǎn)力工具。二是智能語(yǔ)音系統(tǒng),大模型語(yǔ)音會(huì)議也是我們重點(diǎn)布局的方面。三是運(yùn)營(yíng)商的邊緣計(jì)算,5G+AI是一個(gè)趨勢(shì)?!彼f(shuō)道。
吳強(qiáng)還提到,機(jī)器人包括具身智能機(jī)器人(特指陪伴機(jī)器人),更像是十年前的智能駕駛,是一個(gè)新興的垂直賽道,格局還未定,“大家還有機(jī)會(huì)”。
“只要是端邊,只要對(duì)大模型有需要,對(duì)功耗敏感,都有可能是我們的客戶(hù),需要我們逐步地拓展。目前大方向是消費(fèi)終端、智能辦公、智能工業(yè),機(jī)器人也算其中,這是我們重點(diǎn)在布局的幾個(gè)領(lǐng)域?!彼硎?。
面向未來(lái),后摩智能已啟動(dòng)下一代DRAM-PIM技術(shù)研發(fā),通過(guò)將計(jì)算單元直接嵌入DRAM陣列,使計(jì)算與存儲(chǔ)的協(xié)同更加緊密高效。該技術(shù)將突破1TB/s片內(nèi)帶寬,能效較現(xiàn)有水平再提升三倍,推動(dòng)百億參數(shù)大模型在終端設(shè)備實(shí)現(xiàn)普及,讓更強(qiáng)大的AI算力能夠融入PC、平板等日常設(shè)備。
本文系觀(guān)察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。