文|錦緞
下面的情景是不是有些似曾相識(shí)?
當(dāng)滿懷期待地給AI大模型下達(dá)指令,比如“幫我分析一下這周的股價(jià)走勢(shì)”。
等待數(shù)十秒后,得到了一份空洞無(wú)物,只有數(shù)據(jù)羅列的通用模板,令人大失所望。
轉(zhuǎn)念一想,不應(yīng)該啊,之前看過(guò)的短視頻里介紹AI都和點(diǎn)石成金一樣:
有的人能用AI在朋友圈、小紅書和微博上追逐時(shí)尚潮流生成爆款文案;
有的人能用AI生成勝過(guò)資深程序員編寫的高質(zhì)量代碼;
有的人能讓AI充當(dāng)各領(lǐng)域內(nèi)的行業(yè)專家,隨隨便便來(lái)一份分析報(bào)告都不在話下;
同樣是AI,天差地別的結(jié)果。
不同的AI大模型之間能力存在差距,這是事實(shí)。
但造成這一差異的更為主要的原因在于,使用AI的方法,也就是提問(wèn)的方式。
我們注意到,為了降低使用門檻,加速AI大模型應(yīng)用普及,各大廠也在“提示詞工程”上下大心思。PromptPilot,便是字節(jié)系的大模型提示詞解決方案平臺(tái)。
以其為樣本,本文將就“提示詞工程”與字節(jié)系的“提示詞工廠”,一探究竟。
01提示詞的演進(jìn)過(guò)程
人與AI溝通的媒介,即為提示詞(Prompt)。
有人會(huì)問(wèn):“寫Prompt不就是打字提問(wèn)嗎?”
非也,這是一門學(xué)問(wèn)。
這門學(xué)問(wèn)在AI誕生至今的短短幾年內(nèi),已經(jīng)經(jīng)歷了從“遠(yuǎn)古時(shí)代”到“現(xiàn)代”的飛速進(jìn)化。
簡(jiǎn)單了解一下提示詞的發(fā)展路徑,或許能夠幫助理解為什么我們需要更“工程化”的思維。
Stage.1“魔法咒語(yǔ)”時(shí)代
這是最早期的階段,但也是大多數(shù)人目前所處的階段。
使用AI大模型和使用搜索引擎的方法并無(wú)兩樣,就像最初大家在使用GPT3.5時(shí),只需要隨意拋出問(wèn)題,就可以把AI當(dāng)作百科全書使用。
這個(gè)階段的提示詞特點(diǎn)也很鮮明,“一問(wèn)一答,簡(jiǎn)單直接”。
當(dāng)然,使用效果也有些靠運(yùn)氣。對(duì)于一些需要思考、推理或創(chuàng)意的任務(wù),AI的回答時(shí)而驚艷,時(shí)而平庸。
Stage.2“啟蒙與引導(dǎo)”時(shí)代
此后,AI的發(fā)展速度遠(yuǎn)超人們的想象。
研究者和“高級(jí)玩家”們發(fā)現(xiàn),AI就像一個(gè)孩子,直接下命令,它有時(shí)根本聽(tīng)不懂。
但如果給AI一些適當(dāng)?shù)奶崾竞鸵龑?dǎo),有助于孩子的成長(zhǎng),最終得到更好的結(jié)果。
在這一階段,誕生了兩種里程碑式的AI使用方式:
一是示例學(xué)習(xí):在向AI正式發(fā)文之前,先給出范例,讓AI進(jìn)行模仿;
二是思維鏈路:不是直接生成最終答案,而是像做中學(xué)數(shù)學(xué)題一樣,必須把過(guò)程寫清楚,最后給出解答。思維鏈路的出現(xiàn),使AI在計(jì)算、推理和邏輯類任務(wù)中取得了巨大的飛躍。
因此,這時(shí)的AI,雖然本質(zhì)上只是一段早已編寫好的程序,但它也可以被視為一個(gè)可以教導(dǎo)和啟發(fā)的學(xué)生。
Stage.3“系統(tǒng)化工程”時(shí)代
這是我們現(xiàn)在所處的時(shí)代。AI產(chǎn)品五花八門,其能力已經(jīng)達(dá)到“逆天”的水平。
簡(jiǎn)單的小技巧已經(jīng)無(wú)法有效駕馭AI,是時(shí)候設(shè)計(jì)出一套系統(tǒng)化、規(guī)范化且可復(fù)用的方法來(lái)更加有效地利用AI了。
因此,不論是LLM應(yīng)用開(kāi)發(fā)平臺(tái),還是各家廠商最新版本的AI大模型,如果讓它們自動(dòng)生成提示詞,都已經(jīng)不再是零散的指令,而是采用一個(gè)包含角色、背景、任務(wù)、規(guī)則、輸出格式和限制等元素的結(jié)構(gòu)化框架。
其目的也很簡(jiǎn)單,讓AI的輸出穩(wěn)定、可控、易于復(fù)制。
02提示詞工程
“提示詞工程”是什么?
AI給出的回答是:“一門設(shè)計(jì)和優(yōu)化提示詞的科學(xué),旨在更有效地與大型語(yǔ)言模型進(jìn)行溝通,從而引導(dǎo)它們生成更準(zhǔn)確、更相關(guān)、更高質(zhì)量的輸出結(jié)果?!?/p>
如前文所述,提示詞的重要性源于”GarbageIn,GarbageOut”原則,AI模型的輸出質(zhì)量直接取決于輸入提示詞的質(zhì)量。
優(yōu)質(zhì)的提示詞,最重要的功能在于有效減少AI出現(xiàn)“幻覺(jué)”的概率,使其回答更加貼近現(xiàn)實(shí)和用戶意圖。
同時(shí),提示詞有助于發(fā)掘AI的“潛力”。相比簡(jiǎn)單的指令,提示詞工程可以讓AI實(shí)現(xiàn)更多功能,比如編寫代碼、市場(chǎng)分析、創(chuàng)意生成等更加復(fù)雜、更加抽象的任務(wù)。
此外,用戶還可以對(duì)AI的回答添加格式、語(yǔ)氣、長(zhǎng)度等約束條件,靈活地調(diào)整答案的展現(xiàn)形式,同時(shí)節(jié)約調(diào)試時(shí)間。
對(duì)于編寫提示詞的方法,Gemini2.5Pro給出了名為R.O.L.E.S.的法則,這里選擇構(gòu)建工作流時(shí)使用的實(shí)例:
R-Role(角色):你希望AI是誰(shuí)?
這是AI使用者在編寫提示詞時(shí)最容易忽略的一步,因?yàn)槲覀兂3I蟻?lái)就直接把問(wèn)題拋給AI。通過(guò)賦予AI一個(gè)具體且專業(yè)的角色,能夠激活它在該領(lǐng)域的知識(shí)庫(kù),使其回答更具深度和專業(yè)性。
例如:
#角色
你是一個(gè)頂級(jí)的金融數(shù)據(jù)分析師,能夠解析用戶的請(qǐng)求,并為后續(xù)的數(shù)據(jù)庫(kù)檢索程序準(zhǔn)備一份精確的數(shù)據(jù)需求清單。
O-Objective(目標(biāo)):你想完成什么核心任務(wù)?
用戶需要清楚地告訴AI最終目的是什么。不要擔(dān)心語(yǔ)言過(guò)于繁瑣,AI“聽(tīng)不懂”的是短句,而不是長(zhǎng)難句。任務(wù)越明確,AI的行動(dòng)路徑就越清晰。
例如:
#核心任務(wù)
你的任務(wù)是分析用戶關(guān)于“谷歌”(別稱:Google)的指令"{{query}}"。你的最終輸出不是直接回答用戶的問(wèn)題,而是列出為了回答這個(gè)問(wèn)題,必須從我們的財(cái)務(wù)知識(shí)庫(kù)中檢索的**所有基礎(chǔ)數(shù)據(jù)字段**。
L-Limit&Constraint(限制與約束):有哪些規(guī)則必須遵守?
AI作為一個(gè)自由創(chuàng)作的作家,輸出方式向來(lái)是不拘一格。要想獲得準(zhǔn)確的結(jié)果,就必須對(duì)其加以限制和約束,包括但不僅限于風(fēng)格、語(yǔ)氣、字?jǐn)?shù)、禁止事項(xiàng)等等。
例如:
#輸出要求
-**嚴(yán)格遵循格式**:嚴(yán)格輸出由`鍵:值`對(duì)、逗號(hào)`,`和分號(hào)`;`組成的字符串。
-**純凈輸出**:不要包含任何前綴、解釋、引號(hào)、空格或任何其他多余的文字。
-**空處理**:如果指令與谷歌的財(cái)務(wù)或市場(chǎng)數(shù)據(jù)完全無(wú)關(guān),輸出NO_QUERY`。
E-Examples(示例):有沒(méi)有可以參考的例子?
如果用戶的要求比較復(fù)雜或獨(dú)特(比如某一個(gè)細(xì)分領(lǐng)域),那么提供給AI一個(gè)具體的例子會(huì)是比較高效的溝通方式,這有助于讓AI迅速理解用戶期望的格式和風(fēng)格,而不是通過(guò)多輪對(duì)話讓AI不斷去嘗試。
例如:
#示例
**用戶說(shuō)*:"谷歌的收入和市值是多少?"
**你的思考*:用戶直接要“營(yíng)業(yè)收入”和“市值”。這是基礎(chǔ)指標(biāo)。
**最終輸出*:營(yíng)業(yè)收入,市值
S-Steps(步驟):完成任務(wù)需要分幾步?
對(duì)于較為復(fù)雜的任務(wù),就輪到之前提過(guò)的“思維鏈路”出場(chǎng)了。一次把任務(wù)灌輸給AI通常得不到理想的結(jié)果,但如果能引導(dǎo)AI按照步驟思考和執(zhí)行,就可以大幅提升輸出結(jié)果的邏輯性和準(zhǔn)確性。
例如:
#步驟
首先判斷用戶指定的財(cái)務(wù)指標(biāo)是否能夠從給定的財(cái)報(bào)中直接獲?。蝗舨荒塬@取,再根據(jù)計(jì)算公式獲取相關(guān)指標(biāo);最后分析該指標(biāo)的含義。
對(duì)于上面這套法則,還有一些需要注意的細(xì)節(jié):
第一,提示詞的編寫并沒(méi)有嚴(yán)格的規(guī)定,上面的五個(gè)部分可以按需修改;
第二,給出的例子中可能包含{}、**、<>等符號(hào),這些符號(hào)也是提示詞工程中的小技巧,每種符號(hào)都具有特定的功能,可以把一個(gè)純自然語(yǔ)言的段落轉(zhuǎn)變成一個(gè)類似于“程序”的指令集。
03字節(jié)的“提示詞工廠”
在明確提示詞的編寫流程后,就該思考這套方法的實(shí)用性了。
很明顯,如果按部就班地完成每個(gè)步驟,工作量已經(jīng)接近于寫一篇作文。
換個(gè)角度來(lái)看,我們需要使用提示詞讓AI完成任務(wù),而寫提示詞恰好就是一項(xiàng)任務(wù)。
因此,我們可以再偷個(gè)懶,干脆讓AI把提示詞也幫著寫完得了。
字節(jié)在6月推出了一款名為PromptPilot的產(chǎn)品,是面向大模型應(yīng)用的全鏈路優(yōu)化平臺(tái)。
平臺(tái)介紹中提到,該產(chǎn)品不僅可以提供精準(zhǔn)、專業(yè)、可持續(xù)迭代的提示詞,還可以覆蓋大模型開(kāi)發(fā)從構(gòu)想、開(kāi)發(fā)部署到迭代優(yōu)化的全過(guò)程。
該產(chǎn)品免費(fèi)試用至2025年9月11日,鏈接:https://promptpilot.volcengine.com/home
眼見(jiàn)為實(shí),下面我們來(lái)試用一下看看效果如何。
主界面UI看上去很簡(jiǎn)潔,功能主要有三個(gè):Prompt生成、Prompt優(yōu)化和視覺(jué)理解Solution。
由于本篇文章主要討論提示詞相關(guān)內(nèi)容,因此只介紹前兩個(gè)功能。
圖:PromptPilot使用流程圖
對(duì)于沒(méi)有提示詞編寫經(jīng)驗(yàn)的用戶,可以直接在平臺(tái)上生成結(jié)構(gòu)化的提示詞:
圖:生成提示詞界面
任務(wù)描述并不需要太復(fù)雜,只要表達(dá)清楚就好,也不必?fù)?dān)心描述不夠精細(xì),后面還可以進(jìn)行調(diào)整。
這是平臺(tái)生成的初版提示詞,雖然尚不完備,可能與用戶的詳細(xì)需求仍然存在差異,但其效果已經(jīng)遠(yuǎn)比使用短句給AI下達(dá)命令要好。
接下來(lái),需要驗(yàn)證這份提示詞的效果究竟如何。點(diǎn)擊“驗(yàn)證Prompt”進(jìn)入調(diào)優(yōu)環(huán)節(jié):
圖:選擇調(diào)優(yōu)模式
PromptPilot提供了兩種調(diào)優(yōu)模式,評(píng)分模式類似于“簡(jiǎn)答題”,需要用戶填寫分?jǐn)?shù)、評(píng)價(jià)意見(jiàn)(可選)和理想回答(可選),GSB比較模式則類似于“選擇題”,需要用戶對(duì)答案進(jìn)行比較,并給出Good、Same和Bad的判斷。
提示詞的重要性我們已經(jīng)提過(guò)很多次,因此更推薦選擇評(píng)分模式。
圖:調(diào)優(yōu)界面
選擇評(píng)分模式進(jìn)入調(diào)優(yōu)界面后,需要進(jìn)行幾項(xiàng)設(shè)置:
首先,如果用戶覺(jué)得提示詞無(wú)法滿足需求,可以使用“一鍵改寫Prompt”。
然后,在提示詞中可以看到熟悉的標(biāo)識(shí){{AI_NEWS}},表示這里需要填入相關(guān)領(lǐng)域的AI新聞。點(diǎn)擊“填寫變量”,將新聞內(nèi)容粘貼進(jìn)去即可。
PromptPilot還提供了一項(xiàng)很貼心的服務(wù):AI生成變量?jī)?nèi)容。
也就是說(shuō),如果我們并沒(méi)有足夠的新聞,就可以讓AI現(xiàn)編一條。這個(gè)功能在不需要信息真實(shí)性的情況下能幫上大忙,快速構(gòu)造數(shù)據(jù)集就靠它了。
不過(guò),我們需要真實(shí)新聞才能發(fā)布文章,而有些聰明的模型可以識(shí)別出虛假的新聞,因此這里還是不要使用AI生成變量?jī)?nèi)容。
最后,在模型回答窗口中可以自由選擇大模型版本,其中DeepSeek和豆包的部分版本免費(fèi)。
這里,考慮嘗試一下豆包的新模型:Doubao-Seed-1.6-Thinking,開(kāi)啟深度思考功能。
完成上述設(shè)置后,點(diǎn)擊“保存并生成模型回答”,平臺(tái)會(huì)調(diào)用選擇的模型,按照給定的提示詞開(kāi)始編寫文章。生成文章后,需要點(diǎn)擊“添加至評(píng)測(cè)集”。
只靠一篇文章是無(wú)法衡量提示詞質(zhì)量的優(yōu)劣的,因此我們需要更多的數(shù)據(jù)來(lái)進(jìn)行評(píng)判。
圖:評(píng)測(cè)數(shù)據(jù)集界面
與前面的操作相同,我們需要把新聞?wù)迟N至評(píng)測(cè)數(shù)據(jù)集中的AI_NEWS一列。
點(diǎn)擊“生成全部回答”,模型開(kāi)始編寫對(duì)應(yīng)的文章。
評(píng)分同樣可以由AI完成,點(diǎn)擊“智能評(píng)分”-“AI評(píng)分標(biāo)準(zhǔn)”-“生成評(píng)分標(biāo)準(zhǔn)”即可獲得一套較為詳細(xì)的評(píng)分標(biāo)準(zhǔn),用戶可以在此基礎(chǔ)上進(jìn)行修改或是直接使用。
開(kāi)啟智能評(píng)分功能后,AI在文章編寫文章后會(huì)自動(dòng)生成評(píng)分及理由。需要注意的是,智能評(píng)分功能并不完善,經(jīng)常出現(xiàn)全是滿分的情況,而這樣的評(píng)分對(duì)于調(diào)優(yōu)Prompt沒(méi)有意義。
當(dāng)然,這個(gè)環(huán)節(jié)也可以由我們手動(dòng)完成,主觀的評(píng)閱意見(jiàn)能夠使文章的風(fēng)格更接近于理想中的狀態(tài)。但新聞數(shù)量較多時(shí),人工評(píng)閱的工作量還是有些過(guò)大。
這個(gè)時(shí)候,就又輪到“老朋友”工作流登場(chǎng)了。
既然PromptPilot是火山引擎的工具,而大模型我們又選擇了豆包,因此工作流我們也選擇字節(jié)系的Coze進(jìn)行開(kāi)發(fā)。
圖:AI生成文章評(píng)分工作流
工作流的結(jié)構(gòu)很簡(jiǎn)單,開(kāi)始節(jié)點(diǎn)接收兩個(gè)參數(shù):news(原始新聞)和article(AI生成的文章)。
大模型節(jié)點(diǎn)用來(lái)進(jìn)行評(píng)分,同樣將上面兩個(gè)參數(shù)作為輸入,并開(kāi)始編寫提示詞。
既然研究AI,當(dāng)然提示詞也要讓AI來(lái)生成。需要注意的是,適當(dāng)提高文章評(píng)分的區(qū)分度,有助于提示詞的優(yōu)化。
因此,我讓AI生成了一份評(píng)分標(biāo)準(zhǔn),并告知需要嚴(yán)格評(píng)判產(chǎn)生區(qū)分度,并生成了對(duì)應(yīng)的結(jié)構(gòu)化提示詞。
圖:AI評(píng)分提示詞|
提示詞編寫完成后,大模型節(jié)點(diǎn)的模型同樣選擇豆包·1.6·深度思考·多模態(tài)。
現(xiàn)在,只需要運(yùn)行工作流,把新聞原文和AI生成的文章粘貼進(jìn)去就可以得到評(píng)分及打分理由,完成后粘貼到PromptPilot中即可。
最終,數(shù)據(jù)集包含36條新聞及對(duì)應(yīng)文章,開(kāi)始進(jìn)行提示詞的智能優(yōu)化。
圖:智能優(yōu)化界面
可以看到,平臺(tái)推薦的數(shù)據(jù)是50條以上并給出理想回答,但這并非必須。只有評(píng)分是必須項(xiàng)。
智能優(yōu)化環(huán)節(jié)花費(fèi)了約17分鐘,迭代了28次,結(jié)果如下:
圖:智能優(yōu)化結(jié)果
這樣,我們就得到了一份優(yōu)化后的提示詞,相比上一版提示詞增加了更多任務(wù)描述和細(xì)節(jié)。
下拉該頁(yè)面還可以看到根據(jù)新的提示詞生成的文章,這里就不一一展示了。
但還請(qǐng)不要忘記,提示詞工程并非到此而止,而是可以繼續(xù)通過(guò)添加數(shù)據(jù)、評(píng)分和理想回答的方法進(jìn)行下一輪優(yōu)化,直到它能夠完全滿足需求。
至此,我們已經(jīng)掌握了一套標(biāo)準(zhǔn)化的用于優(yōu)化提示詞的方法。
而事實(shí)上,這個(gè)過(guò)程就是我們常常提到的——強(qiáng)化學(xué)習(xí)。
04結(jié)語(yǔ)
回到最初的問(wèn)題:為什么同樣的AI,在不同人手中會(huì)產(chǎn)生天壤之別?
答案正是提示詞工程——與AI高效寫作的藝術(shù)與科學(xué)。
它并非計(jì)算機(jī)行業(yè)的專利,而是未來(lái)人們需要具備的基礎(chǔ)素養(yǎng)。
掌握它,意味著駕馭AI,擁有放大自身價(jià)值的能力。
然而,知易行難?!爸馈苯Y(jié)構(gòu)化提示詞的重要性,與“做到”在每次向AI提問(wèn)時(shí)熟練運(yùn)用,中間還存在一道不那么容易跨越的鴻溝。
坦誠(chéng)地說(shuō),字節(jié)跳動(dòng)當(dāng)前版本PromptPilot遠(yuǎn)非完美,也絕非終點(diǎn)。
請(qǐng)不要指望它能一鍵生成滿足所有精細(xì)化需求,同時(shí)還擁有絕佳效果的“神級(jí)”提示詞。
在面對(duì)較為復(fù)雜或創(chuàng)新需求的任務(wù)時(shí),我們會(huì)清楚地感受到它提供的框架仍然有所局限。
同時(shí)別忘了,它也有一定的使用門檻,需要我們花時(shí)間去學(xué)習(xí)、去配置、去適應(yīng)。
但與此同時(shí),這也揭示了PromptPilot的核心價(jià)值:它并非“答案機(jī)”,而是“思維矯正器”。
在學(xué)習(xí)和使用PromptPilot的過(guò)程中,它強(qiáng)行打破了我們用大白話隨口一問(wèn)的慣性。
它的結(jié)構(gòu)化編輯器更像是一個(gè)“思維腳手架”,也許本身并不美觀,但能保證搭建出的建筑地基穩(wěn)固、結(jié)構(gòu)完整。
而它的存在,能夠幫助那些面對(duì)AI聊天框總是無(wú)從下手,或是因AI輸出質(zhì)量不佳而苦惱的用戶,完整從0到1的初次躍遷。
它的目標(biāo)用戶,并非那些隨手寫出上百字的復(fù)雜指令的提示詞工程師,而是每一個(gè)希望告別低效提問(wèn),著手建立系統(tǒng)化和結(jié)構(gòu)化思維的“學(xué)生”。
最終,在熟練掌握思維模式后,我們可能不再使用PromptPilot,但已經(jīng)具備了與AI高效對(duì)話的底層能力。
而這,正是AI時(shí)代真正的通行證。
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。