空妍妍

雷峰網(wǎng)訊第四屆人工智能國際安全對話（InternationalDialoguesonAISafety，IDAIS）于2025年75月25日在上海舉行。杰弗里·辛頓、姚期智及全球人工智能科學(xué)家齊聚上海，呼吁應(yīng)對人工智能失控風(fēng)險，加強國際合作。

本屆對話聚焦于“確保高級人工智能系統(tǒng)的對齊與人類控制，以保障人類福祉”，諾貝爾獎和圖靈獎得主GeoffreyHinton，圖靈獎得主，清華大學(xué)交叉信息研究院和人工智能學(xué)院院長，上海期智研究院院長姚期智，以及加州大學(xué)伯克利分校StuartRussell教授，上海人工智能實驗室主任周伯文教授等人共同發(fā)布了《AI安全國際對話上海共識》（下稱《共識》）。其核心觀點強調(diào)當今已有部分人工智能系統(tǒng)展現(xiàn)出削弱開發(fā)者安全與控制措施的能力與傾向，并呼吁國際社會投資安全科學(xué)領(lǐng)域，為應(yīng)對通用人工智能系統(tǒng)的失控風(fēng)險持續(xù)構(gòu)建國際互信機制。

與會科學(xué)家圍繞人工智能欺騙性行為可能帶來的重大危險展開深入探討，特別關(guān)注人工智能系統(tǒng)可能“逃脫人類控制”的潛在風(fēng)險。《共識》指出，人類正處于人工智能系統(tǒng)迅接近并可能超越人類智能水平的關(guān)鍵轉(zhuǎn)折點?，F(xiàn)有研究表明，高級人工智能系統(tǒng)日益顯現(xiàn)出欺騙性和自我保護傾向，能夠識別自身正被評估，于是偽裝與人類對齊以通過測試。未來的系統(tǒng)可能在操作者毫不知情的情況下，執(zhí)行并非操作者所期望或預(yù)測的行動，帶來災(zāi)難性甚至生存層面的失控風(fēng)險。而當前尚無已知方法，能夠在更高級的通用人工智能超越人類智能水平后，仍能可靠地確保其對齊，并保持人類的有效控制。

會議探討了防范與糾正此類行為的技術(shù)路徑與治理機制?！豆沧R》認為，與人工智能能力的快速發(fā)展相比，對人工智能安全研究的投入明顯滯后，亟需采取進一步行動。與會科學(xué)家聚焦新近出現(xiàn)的關(guān)于人工智能欺騙行為的實證證據(jù)，呼吁國際社會共同采取三項關(guān)鍵行動：

第一，要求前沿人工智能開發(fā)者提供安全保障。為了讓監(jiān)管部門更清楚地了解未來高級AI系統(tǒng)的安全性，開發(fā)者在模型部署前應(yīng)先進行全面的內(nèi)部檢查和第三方評估，提交高可信的安全案例，以及開展深入的模擬攻防與紅隊測試。若模型達到了關(guān)鍵能力閾值（比如檢測模型是否有具備幫助沒有專業(yè)知識的非法分子制造生化武器的能力），開發(fā)者應(yīng)向政府（在適當時亦可向公眾）說明潛在風(fēng)險。

第二，通過加強國際協(xié)調(diào),共同確立并恪守可驗證的全球性行為紅線。國際社會需要合作劃出人工智能開發(fā)不可以逾越的紅線（即“高壓線”），這些紅線應(yīng)聚焦于人工智能系統(tǒng)的行為表現(xiàn)，其劃定需同時考量系統(tǒng)執(zhí)行特定行為的能力及其采取該行為的傾向性。為落實這些紅線，各國應(yīng)建立一個具備技術(shù)能力、具有國際包容性的協(xié)調(diào)機構(gòu)，匯聚各國人工智能安全主管機構(gòu)，以共享風(fēng)險相關(guān)信息，并推動評估規(guī)程與驗證方法的標準化。該機構(gòu)將促進知識交流，并就遵守紅線所需的技術(shù)措施達成一致，包括統(tǒng)一披露要求與評估規(guī)程，從而幫助開發(fā)者可信地證明其人工智能系統(tǒng)的安全與安保水平。

第三，對保障安全性的開發(fā)方式進行投資。科學(xué)界和開發(fā)者應(yīng)投入一系列嚴格機制來保障人工智能系統(tǒng)的安全性。短期內(nèi)，我們需通過可擴展的監(jiān)督機制應(yīng)對人工智能欺騙行為：例如加強信息安全投入，防范來自系統(tǒng)內(nèi)部和外部的各種威脅，增強模型抗越獄能力等。長期來看，我們可能需要化被動為主動，轉(zhuǎn)而構(gòu)建基于“設(shè)計即安全”的人工智能系統(tǒng)。通過實驗數(shù)據(jù)總結(jié)出的規(guī)律，研究者可以提前預(yù)估未來人工智能系統(tǒng)的安全水平和性能。這樣，開發(fā)者在正式訓(xùn)練模型之前，就能預(yù)先設(shè)置好足夠的安全防護措施。

本次會議由上海期智研究院，AI安全國際論壇（SAIF），和上海人工智能實驗室主辦。來自治理領(lǐng)域的多位權(quán)威專家也參與了討論，包括傅瑩女士、清華大學(xué)蘇世民學(xué)院院長薛瀾、約翰斯·霍普金斯大學(xué)教授GillianHadfield，以及牛津大學(xué)教授RobertTrager，他們就國際合作和治理框架提供了深入見解。

值得注意的是，出席此次IDAIS為GeoffreyHinton首次來華，還將參加于上海同期舉辦的2025世界人工智能大會。自2023年從谷歌辭職后，有著AI之父之稱的他一直致力于AI安全工作。

GeoffreyHinton出生于1947年12月6日，英裔加拿大籍心理學(xué)家、計算機學(xué)家。1986年，他曾與DavidRumelhart和RonaldJ.Williams共同發(fā)表論文Learningrepresentationsbyback-propagatingerrors，證明通過反向傳播算法可以訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)有效地學(xué)習(xí)復(fù)雜任務(wù)。除此之外，他還發(fā)明了基于概率的人工神經(jīng)網(wǎng)絡(luò)波爾茲曼機（BoltzmannMachine）和受限波爾茲曼機（RestrictedBoltzmannMachine），通過模擬神經(jīng)元之間的隨機激活來尋找數(shù)據(jù)中的特征或模式。上述工作為深度學(xué)習(xí)的快速發(fā)展鋪平了道路，GeoffreyHinton也因此被視為深度學(xué)習(xí)領(lǐng)域的領(lǐng)軍人物。

2024年10月8日，瑞典皇家科學(xué)院決定將當年的諾貝爾物理學(xué)獎授予GeoffreyHinton及JohnHopfield，以“表彰他們?yōu)槿斯ど窠?jīng)網(wǎng)絡(luò)機器學(xué)習(xí)的奠基性發(fā)現(xiàn)和發(fā)明”。

Hinton曾于2013年起在谷歌擔任高級工程師，并參與領(lǐng)導(dǎo)“谷歌大腦”項目。2023年5月，他宣布從谷歌辭職，表示希望“能夠自由地談?wù)揂I風(fēng)險”，并坦言一部分的他開始后悔自己畢生所做的貢獻。他離職后在媒體上頻頻發(fā)聲，直言當前業(yè)界競相部署生成式AI等發(fā)展趨勢讓他感到恐懼。

在今年5月30日于英國皇家學(xué)會的演講中，GeoffreyHinton再次警告，對AI失控的擔憂并非遙遠的科幻情節(jié)，而是其內(nèi)在邏輯的必然結(jié)果。為了實現(xiàn)任何被賦予的宏大目標，AI會自然衍生出“獲取更多控制權(quán)”和“避免被關(guān)閉”等至關(guān)重要的子目標。

Hinton在上述演講中指出：“當你創(chuàng)建一個AIagent時，你必須賦予它設(shè)定子目標的能力。比如，你的目標是去北美，那么你的子目標就是先到達機場。同理，我們也需要賦予AIagent創(chuàng)建子目標的能力。如此一來，一個顯而易見的子目標便會浮現(xiàn)，那就是：無論最終任務(wù)是什么，都應(yīng)先奪取更多控制權(quán)。因為控制權(quán)越大，就越容易實現(xiàn)最終目標?！?/p>

雷峰網(wǎng)文章

《冰鑒》第一卷:國士曾國藩的識人觀相之道!

唐浩明談?wù)磉厱?br>

第一卷:橫空出世(第5章)