黃玉琪

如果人工智能（AI）變得比人更聰明，如何保證AI系統(tǒng)受人類掌控且符合人類價(jià)值觀？

在7月26日舉行的2025世界人工智能大會(huì)暨人工智能全球治理高級別會(huì)議（WAIC）上，圖靈獎(jiǎng)得主、中國科學(xué)院院士姚期智接受第一財(cái)經(jīng)記者獨(dú)家專訪時(shí)談到了全球人工智能的治理問題。

他說，大家感覺到AGI（通用人工智能）的時(shí)代來臨得比想象中更快，隨之就會(huì)出現(xiàn)很多商業(yè)應(yīng)用，在此背景下AI的安全性就更為重要，因?yàn)橄啾葌鹘y(tǒng)的算法設(shè)計(jì)，AI的安全性沒有理論上的保證。還有一點(diǎn)就是近年來AI專家們認(rèn)為AGI到來以后可能比人還聰明，人類就很難控制它。

“AI安全治理是長期系統(tǒng)性的工作，同時(shí)也是理論性的工作，而中國近幾年跟國際接軌很頻繁，比如我們今天舉行的大會(huì)?！币ζ谥钦f。

就在WAIC開幕前的7月22日至25日，在AI安全國際論壇及第四屆AI安全國際對話中，包括諾貝爾獎(jiǎng)和圖靈獎(jiǎng)得主杰弗里·辛頓(GeoffreyHinton)教授，姚期智、加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)教授斯圖爾特·羅素(StuartRussell)等全球頂尖人工智能科學(xué)家齊聚上海，就未來人工智能系統(tǒng)可能超越人類智能水平帶來的失控風(fēng)險(xiǎn)，進(jìn)行了深入的交流與研討，并簽署了上海共識。

本次會(huì)議促成了《AI安全國際對話上海共識》(簡稱“上海共識”)，首次呼吁全球各國政府及研究人員“確保高級人工智能系統(tǒng)的對齊與人類控制，保障人類福祉”。共識指出，人工智能正迅速逼近并可能超越人類智能水平。然而，依據(jù)現(xiàn)有的系統(tǒng)欺瞞人類開發(fā)者的證據(jù)推測，具有超過人類智慧的人工智能系統(tǒng)可能在未來脫離人類控制或被不法分子利用，帶來災(zāi)難性風(fēng)險(xiǎn)。因此，全球研究者必須聯(lián)合起來，確保人工智能系統(tǒng)受人類掌控且符合人類價(jià)值觀。

共識認(rèn)為，全球主要國家和地區(qū)必須對接協(xié)調(diào)，采取可信的安全舉措，在能共同推進(jìn)的領(lǐng)域協(xié)同發(fā)力，在必要時(shí)自主行動(dòng)。需要在國際層面逐步建立互信機(jī)制，并加大對人工智能安全科學(xué)研究的投入。為了保障在不久的將來所有人類都能更好地生存，上海共識呼吁國際社會(huì)：要求前沿人工智能開發(fā)者提供安全保障；通過加強(qiáng)國際協(xié)調(diào)，共同確立并恪守可驗(yàn)證的全球性行為紅線；投資基于設(shè)計(jì)的安全人工智能研究。

姚期智告訴記者，將來人工智能帶來的巨大改變會(huì)達(dá)到什么程度，現(xiàn)在沒有人會(huì)知道，原則上如果把治理做得好，全球人民都可以擁有很好的生活。他認(rèn)為，在人工智能安全治理方面，上海有著天時(shí)地利人和的條件，上海的城市稟賦吸引海外的專家在此匯聚，未來在全球人工智能治理方面上海也將會(huì)是世界上最重要的中心之一。

姚期智在26日WAIC上主持圓桌討論

作為一位教育工作者，姚期智創(chuàng)建的清華大學(xué)“姚班”，培養(yǎng)了諸多計(jì)算機(jī)科學(xué)創(chuàng)新人才。面對快速發(fā)展的AGI，年輕學(xué)子應(yīng)該加強(qiáng)哪些方面的能力？

他告訴記者，年輕人要把基礎(chǔ)學(xué)業(yè)掌握好，比如數(shù)學(xué)、物理、計(jì)算機(jī)等。“將來的世界變化得很快，科技如何發(fā)展，什么樣的工作會(huì)存在，最后還是要靠這些基本的積累。因?yàn)楝F(xiàn)在流行的職業(yè)、流行的一種工作過兩年可能就不見了，誰能夠不斷地自主學(xué)習(xí)，能夠適應(yīng)世界的改變是唯一的安全保障?！?/p>