IT之家7月10日消息,據(jù)路透社今日報道,非營利機(jī)構(gòu)METR的最新研究發(fā)現(xiàn),和大家普遍認(rèn)為的相反,經(jīng)驗(yàn)豐富的軟件開發(fā)者在使用最先進(jìn)的AI工具輔助熟悉的代碼庫時,反而變得更慢,而不是更快。
該機(jī)構(gòu)對一批資深開發(fā)者進(jìn)行了深入調(diào)查,他們用流行的AI編程助手Cursor來完成自己熟悉的開源項目任務(wù)。
研究開始前,這些開發(fā)者預(yù)計AI能讓自己的工作速度提升,估計任務(wù)時間會縮短24%。完成任務(wù)后,他們依然覺得自己節(jié)省了20%的時間。但研究數(shù)據(jù)顯示,AI實(shí)際讓任務(wù)完成時間增加了19%。
研究負(fù)責(zé)人喬爾?貝克和內(nèi)特?拉什表示,這結(jié)果令人非常意外。拉什甚至在研究前預(yù)期速度會翻倍。
這項發(fā)現(xiàn)挑戰(zhàn)了“AI能顯著提升高薪工程師效率”的普遍看法,而這正是吸引大量投資進(jìn)軍AI軟件開發(fā)領(lǐng)域的重要原因。更有甚者,還將AI看作將初級程序員崗位的“替代品”。
過去研究中,AI在提升開發(fā)效率上取得了顯著成果:一項顯示程序員速度提高了56%,另一項表明開發(fā)者在固定時間內(nèi)能多完成26%的任務(wù)。
但METR的新研究表明,這些積極結(jié)果并不適用于所有情況。尤其是對熟悉大型成熟開源代碼庫的資深開發(fā)者來說,反而出現(xiàn)了效率下降。
研究作者指出,很多相關(guān)研究依賴AI開發(fā)的基準(zhǔn)測試,這些測試未必能真實(shí)反映現(xiàn)實(shí)工作任務(wù)。IT之家從報道中獲悉,效率變慢的主要原因,是開發(fā)者需要花時間檢查和修正AI給出的代碼建議。
貝克說:“AI提出的建議方向基本正確,但細(xì)節(jié)上并非完全符合實(shí)際需求?!?/p>
作者強(qiáng)調(diào),這種變慢不太可能出現(xiàn)在初級開發(fā)者或?qū)Σ皇煜ごa庫的工程師身上。
不過大部分參與研究的開發(fā)者和作者本人依然使用Cursor。他們認(rèn)為,AI讓開發(fā)過程更輕松愉快,就像修改一篇文章,而不是從空白開始寫作。貝克表示:“開發(fā)者的目標(biāo)不僅是盡快完成任務(wù),他們更愿意選擇這條付出更少努力的路?!?/p>