IT之家7月10日消息,一項最新發(fā)現(xiàn)指出,人工智能工具ChatGPT在商業(yè)推薦中可能引用了不可靠的信息來源,包括被黑客攻擊的網(wǎng)站和已被重新利用的過期域名。
據(jù)IT之家了解,該發(fā)現(xiàn)由SEO專家、Digitaloft公司董事總經(jīng)理詹姆斯?布羅克班克(JamesBrockbank)通過個人測試得出,并非基于正式研究。他在測試中發(fā)現(xiàn),ChatGPT在推薦公司或服務時,有時會引用被篡改或誤導性的內容。這些內容往往來自被黑客入侵的高權重網(wǎng)站,或是已被重新注冊并用于發(fā)布無關信息的過期域名。由于這些域名本身具有較高的“權威性”,ChatGPT在生成回答時仍將其視為可信來源。
布羅克班克指出,這種現(xiàn)象主要涉及兩類問題:一是被黑客攻擊的網(wǎng)站,攻擊者在這些網(wǎng)站上植入與原本內容無關的信息;二是過期域名的再利用,一些機構或個人購買這些域名后,發(fā)布與其原主題無關的內容,以借助其原有的搜索引擎權重誤導AI系統(tǒng)。
“重建一個域名,僅僅是為了讓語言模型引用它?這就是操控。”布羅克班克在接受采訪時表示。他強調,雖然通過合法媒體投放和精心策劃的內容可以提升在AI推薦中的曝光度,但利用被黑或過期域名則明顯越過了道德底線。
這一發(fā)現(xiàn)對企業(yè)和用戶均具有重要影響。對于企業(yè)而言,AI推薦已成為品牌曝光的重要渠道,但如果推薦內容來源不可靠,可能誤導消費者,甚至損害品牌聲譽。對于用戶來說,盲目信任AI推薦可能帶來信息誤判的風險。
布羅克班克呼吁,AI開發(fā)者應加強對操控內容的識別與過濾機制,提升系統(tǒng)的信息篩選能力。在此之前,他建議用戶在使用ChatGPT等AI工具時,應對其推薦的信息來源進行核實,而非全盤接受。
“我們還沒有到可以完全信任ChatGPT推薦而不加驗證的階段?!辈剂_克班克提醒道。