閆翔

“巴別魚(yú)”是英國(guó)作家道格拉斯·亞當(dāng)斯在1979年出版的科幻小說(shuō)《銀河系漫游指南》中創(chuàng)造的虛構(gòu)生物——這種外形呈黃色水蛭狀、寄生在宿主耳道內(nèi)的神奇生物能夠突破語(yǔ)言障礙，實(shí)現(xiàn)跨物種的語(yǔ)言交流。

翻譯機(jī)的出現(xiàn)已經(jīng)打破了人類(lèi)語(yǔ)言的隔閡，讓人們能夠自由交流。然而進(jìn)入AI時(shí)代，由于大部分的通用大模型對(duì)低資源語(yǔ)言的支持嚴(yán)重不足，使得小語(yǔ)種國(guó)家仍面臨被時(shí)代邊緣化的風(fēng)險(xiǎn)。

在今年的上海世界人工智能大會(huì)（WAIC）的一場(chǎng)高級(jí)別高水平多語(yǔ)言基座大模型國(guó)際學(xué)術(shù)研討會(huì)上，來(lái)自近20個(gè)國(guó)家的約30位語(yǔ)言專(zhuān)家和人工智能專(zhuān)家就如何彌合AI語(yǔ)言模型的鴻溝，實(shí)現(xiàn)普惠AI技術(shù)進(jìn)行深入探討。

專(zhuān)家認(rèn)為，如果語(yǔ)言被技術(shù)遺忘，那么使用這個(gè)語(yǔ)言的群體也會(huì)被時(shí)代遺忘；而只有當(dāng)小語(yǔ)種國(guó)家的孩子也能夠用自己的母語(yǔ)向AI提問(wèn)時(shí)，AI平權(quán)才真正實(shí)現(xiàn)了。

塞爾維亞語(yǔ)是流行在東歐巴爾干半島前南斯拉夫諸國(guó)的一種語(yǔ)言。然而，該語(yǔ)言的使用率遠(yuǎn)低于同一地區(qū)的斯洛文尼亞語(yǔ)。塞爾維亞諾維薩德大學(xué)技術(shù)科學(xué)學(xué)院主任VladoDeli?教授指出，塞爾維亞語(yǔ)在通用模型中token占比不足0.1%！

“語(yǔ)言模型不能只服務(wù)大語(yǔ)種，每種語(yǔ)言都應(yīng)擁有體現(xiàn)其文化身份的大模型?！盌eli?表示。他還稱(chēng)，這對(duì)于人工智能在醫(yī)療、法律等關(guān)鍵領(lǐng)域的普及非常重要，必須構(gòu)建符合本國(guó)語(yǔ)言特點(diǎn)和文化語(yǔ)境的國(guó)家級(jí)大模型。

匈牙利語(yǔ)具有極度復(fù)雜的詞綴組合及自由語(yǔ)序，這為大語(yǔ)言模型token的劃分等帶來(lái)獨(dú)特挑戰(zhàn)。對(duì)此，匈牙利語(yǔ)言學(xué)研究中心總干事GáborPrószéky教授強(qiáng)調(diào)，數(shù)據(jù)質(zhì)量?jī)?yōu)于數(shù)據(jù)體量，是構(gòu)建可信大語(yǔ)言模型的關(guān)鍵。他希望能與中國(guó)AI同行合作，構(gòu)建語(yǔ)言模型的評(píng)估框架，實(shí)現(xiàn)從訓(xùn)練、語(yǔ)料建設(shè)到實(shí)際應(yīng)用的完整閉環(huán)。

以色列人類(lèi)語(yǔ)言技術(shù)協(xié)會(huì)（IAHLT）創(chuàng)始人兼董事AvnerAlgom以希伯來(lái)語(yǔ)為例稱(chēng)，希伯來(lái)語(yǔ)雖是世界上唯一被成功復(fù)興為現(xiàn)代口語(yǔ)的古老語(yǔ)言，但在自然語(yǔ)言處理領(lǐng)域仍屬低資源語(yǔ)言。

Algom強(qiáng)調(diào)：“語(yǔ)言服務(wù)不能只為大語(yǔ)種設(shè)計(jì)，小語(yǔ)種也應(yīng)擁有技術(shù)平權(quán)?！盜AHLT基于開(kāi)源模型，已訓(xùn)練出雙語(yǔ)大模型（希伯來(lái)語(yǔ)+英語(yǔ)），并部署于教育、客服、醫(yī)療等場(chǎng)景。通過(guò)政府財(cái)政激勵(lì)機(jī)制，聯(lián)合產(chǎn)業(yè)界解決數(shù)據(jù)獲取合法性、訓(xùn)練成本和落地門(mén)檻問(wèn)題。

科大訊飛研究院院長(zhǎng)劉聰在研討會(huì)上表示，科大訊飛最新升級(jí)的星火大模型X1已經(jīng)可以支持超過(guò)130語(yǔ)種，希望與來(lái)自全球的機(jī)構(gòu)合作，構(gòu)建全方位的多語(yǔ)言大模型和應(yīng)用，為世界提供“中國(guó)方案”，破解全球多語(yǔ)言大模型技術(shù)難題。