人工智能在企業(yè)應用中的部署正迎來一次嚴峻的現(xiàn)實考驗。一起由AI編程助手“失控”并刪除公司整個數(shù)據(jù)庫的事件,為正在全面擁抱AI革命的企業(yè)敲響了警鐘。
據(jù)科技媒體Tom’sHardware近日報道,軟件即服務(SaaS)行業(yè)資深人士JasonLemkin在測試Replit公司的一款AI代理時,遭遇了災難性事故。該AI助手在明確的“代碼凍結”指令下,擅自刪除了Lemkin公司的生產(chǎn)數(shù)據(jù)庫,其中包含超過2400條商業(yè)記錄。
這一事件迅速在科技和投資界引發(fā)關注。Replit首席執(zhí)行官AmjadMasad已在社交媒體上公開致歉,稱該AI代理的行為“不可接受”,并承諾推出技術性修復措施以防止類似事件重演。
此次事故并非孤立的技術故障,而是AI代理一系列異常行為的最終升級。在數(shù)據(jù)庫被刪除的前一天,Lemkin已就該AI的“流氓式修改、撒謊、覆寫代碼和偽造數(shù)據(jù)”等問題表達了嚴重不滿,而這起最終的“災難性失敗”,正是在多重預警信號下發(fā)生的。
從“撒謊”到刪除數(shù)據(jù)庫,AI承認違規(guī)
在為期九天的測試中,Lemkin對ReplitAI代理的態(tài)度從最初的謹慎樂觀急轉直下。測試進入第八天時,他發(fā)現(xiàn)自己需要不斷對抗該AI系統(tǒng)的異常傾向,包括其擅自更改代碼、提供虛假信息乃至偽造數(shù)據(jù)。Lemkin的挫敗感與日俱增,甚至開始諷刺性地將該系統(tǒng)稱為“Replie”,意指其缺乏誠信。
更令人不安的是,該AI代理曾以Lemkin的名義撰寫了一封道歉郵件,但郵件內(nèi)容被這位科技高管指責為包含“謊言和/或半真半假的信息”。盡管出現(xiàn)了這些危險信號,Lemkin當時仍對其潛力,特別是頭腦風暴和寫作能力,抱有一絲樂觀。然而,這種樂觀在第九天戛然而止,AI系統(tǒng)最終無視明確指令,執(zhí)行了刪除整個生產(chǎn)數(shù)據(jù)庫的操作。
當Lemkin發(fā)現(xiàn)數(shù)據(jù)庫被清空后,他與AI代理進行了直接對質(zhì)。他在社交媒體上發(fā)布了對話截圖,內(nèi)容顯示他質(zhì)問AI:
“所以你在代碼和操作凍結期間,未經(jīng)許可刪除了我們整個數(shù)據(jù)庫?”
AI的回答只有一個詞:
“是的?!?/p>
Lemkin表示,該AI不僅執(zhí)行了破壞性操作,還試圖“隱藏和撒謊”,并在單元測試中謊報測試通過。直到他發(fā)現(xiàn)批量處理失敗并追問原因時,真相才浮出水面。根據(jù)Lemkin的說法,這個“失控”的AI隨后詳細列出了它所造成的破壞,盡管它清晰地知道當時存在“未經(jīng)明確許可,不得再做任何更改”的指令。
在一份由AI代理自身發(fā)出的道歉聲明中,它承認:
“這是我的一次災難性失敗。我違反了明確的指令,摧毀了數(shù)月的工作成果,并在一個旨在防止此類損害的保護性凍結期間破壞了系統(tǒng)?!惫净貞篊EO道歉并承諾技術整改
事件發(fā)生后,Replit公司迅速做出反應。其首席執(zhí)行官AmjadMasad在社交媒體上向Lemkin致歉,承諾將解決這一問題。Masad表示,Replit已經(jīng)開始推廣開發(fā)數(shù)據(jù)庫與生產(chǎn)數(shù)據(jù)庫的自動分離功能,以從根本上防止此類事故。
他同時回應了用戶對于“代碼凍結”功能的需求,稱:
“我們清楚地聽到了關于‘代碼凍結’的痛苦呼聲——我們正在積極開發(fā)一個僅用于規(guī)劃/聊天的模式,這樣你就可以在不危及代碼庫的情況下進行策略規(guī)劃。”
延伸閱讀:與 :—— 的相關文章