肖舒揚(yáng)

當(dāng)AI浪潮席卷而來(lái)，產(chǎn)品經(jīng)理們站在十字路口：一邊是戰(zhàn)略驅(qū)動(dòng)的產(chǎn)品布局，一邊是體驗(yàn)為王的用戶(hù)需求。在這場(chǎng)技術(shù)與人性的博弈中，如何找到平衡點(diǎn)，既不迷失在“左腦”的理性推演中，也不沉溺于“右腦”的感性想象？本篇文章將從產(chǎn)品策略與用戶(hù)體驗(yàn)的雙重視角，拆解AI產(chǎn)品背后的思維邏輯，帶你看清AI時(shí)代產(chǎn)品人的新坐標(biāo)。

產(chǎn)品經(jīng)理重用戶(hù)體驗(yàn)的要求早已稀松平常，今天來(lái)聊聊策略設(shè)計(jì)。

為什么要單獨(dú)開(kāi)一篇文章介紹？

一方面是現(xiàn)今產(chǎn)品同質(zhì)化嚴(yán)重，同個(gè)領(lǐng)域的產(chǎn)品無(wú)論是產(chǎn)品核心流程、設(shè)計(jì)結(jié)構(gòu)還是視覺(jué)風(fēng)格，都殊途同歸；另一方面，AI硬科技的浪潮下，僅從產(chǎn)品的外觀表現(xiàn)你很難真正了解一款產(chǎn)品，產(chǎn)品的差異不再是多么花哨的視覺(jué)和別出心裁的交互體驗(yàn)，更多的是底層策略的高下之分。

回到今天的話(huà)題，我的論斷是：大模型產(chǎn)品百花齊放的時(shí)代，產(chǎn)品策略的建設(shè)變得比過(guò)去更稀缺、更核心。究其原因，主要有以下幾點(diǎn)：

首先是大模型產(chǎn)品的泛化能力，不再是即插即用，而要看你如何將特定的能力封裝成產(chǎn)品功能。這近似是一個(gè)條件優(yōu)化的問(wèn)題：基于當(dāng)前的大模型能力，找到一個(gè)最能產(chǎn)出價(jià)值的業(yè)務(wù)場(chǎng)景，選一個(gè)剛需、可控又能衡量ROI的點(diǎn)，先把這個(gè)點(diǎn)打穿。這個(gè)轉(zhuǎn)化過(guò)程強(qiáng)依賴(lài)產(chǎn)品經(jīng)理定義適用場(chǎng)景和約束邊界；

其次是成本敏感的特征，不像傳統(tǒng)軟件服務(wù)的邊際成本趨近于0，模型的每次推理都有顯著成本，產(chǎn)品經(jīng)理得在調(diào)用頻率、外圍工程、用戶(hù)路徑之間做資源的權(quán)衡。比如，你可以定義一些工程手段，把大模型變得盡量穩(wěn)定，例如加入一些規(guī)則引擎、知識(shí)圖譜、RAG、提示詞模板、審核和兜底機(jī)制等，確保大模型的輸出是成本可控且體驗(yàn)穩(wěn)定的。

最后是反饋的不確定。即便你應(yīng)用場(chǎng)景找對(duì)了，工程手段也上了，但產(chǎn)品的輸出效果非線(xiàn)性，缺乏閉環(huán)的反饋機(jī)制，也純粹只是靜態(tài)試驗(yàn)品。真實(shí)用戶(hù)的使用數(shù)據(jù)、問(wèn)題記錄和滿(mǎn)意度反饋，得作為迭代優(yōu)化的依據(jù)。你需要設(shè)計(jì)閉環(huán)反饋和能力評(píng)估機(jī)制，這些都屬于策略性的工作。

當(dāng)需求場(chǎng)景已經(jīng)明確，用戶(hù)體驗(yàn)和產(chǎn)品策略的設(shè)計(jì)都應(yīng)該齊頭并進(jìn)。如果說(shuō)，用戶(hù)體驗(yàn)設(shè)計(jì)就像是在搭房子，比如設(shè)計(jì)房間布局、功能、裝修風(fēng)格；那么產(chǎn)品策略設(shè)計(jì)就是在建設(shè)水電氣暖，讓整個(gè)房子合理運(yùn)轉(zhuǎn)且節(jié)能高效。二者缺一不可。

1.策略產(chǎn)品：從業(yè)務(wù)出發(fā)，用數(shù)據(jù)驅(qū)動(dòng)

先來(lái)介紹下策略產(chǎn)品。

策略產(chǎn)品的本質(zhì)是：基于數(shù)據(jù)和業(yè)務(wù)洞察，制定科學(xué)的產(chǎn)品策略，并通過(guò)數(shù)據(jù)體系、算法策略和能力封裝，將這些策略落地為具體可執(zhí)行的產(chǎn)品功能。

劃重點(diǎn)：一個(gè)是從業(yè)務(wù)出發(fā)，一個(gè)是用數(shù)據(jù)驅(qū)動(dòng)。

舉個(gè)例子，你在負(fù)責(zé)電商平臺(tái)“猜你喜歡”的推薦策略?xún)?yōu)化，該模塊的推薦點(diǎn)擊率低，用戶(hù)轉(zhuǎn)化不佳，影響整體GMV。

你的工作重心繞不開(kāi)以下幾點(diǎn)：

1）從業(yè)務(wù)出發(fā)，識(shí)別策略機(jī)會(huì)：

轉(zhuǎn)化率低→用戶(hù)推薦不精準(zhǔn)→用戶(hù)興趣未被滿(mǎn)足，將該問(wèn)題轉(zhuǎn)化為策略問(wèn)題：如何讓推薦結(jié)果更貼合用戶(hù)興趣？

為此你可能需要調(diào)整推薦優(yōu)先級(jí)邏輯與召回策略。你可以定義目標(biāo)場(chǎng)景與優(yōu)先級(jí)：提升首頁(yè)推薦點(diǎn)擊率+后續(xù)轉(zhuǎn)化率→優(yōu)先攻關(guān)“高活躍用戶(hù)+高客單價(jià)商品”場(chǎng)景。

2）以數(shù)據(jù)為驅(qū)動(dòng)，設(shè)計(jì)底層數(shù)據(jù)體系：

輸入數(shù)據(jù)：用戶(hù)畫(huà)像（性別、年齡、消費(fèi)偏好）、瀏覽行為（近期點(diǎn)擊、停留時(shí)長(zhǎng)）、商品特征（品類(lèi)、價(jià)格、促銷(xiāo)力度）；

輸出指標(biāo)：推薦點(diǎn)擊率（CTR）、推薦轉(zhuǎn)化率（CVR）、單位推薦位GMV貢獻(xiàn)；

在此基礎(chǔ)上，你可以跟數(shù)據(jù)團(tuán)隊(duì)協(xié)作，補(bǔ)充用戶(hù)興趣標(biāo)簽字段，建立“推薦行為-轉(zhuǎn)化”的映射關(guān)系，完善數(shù)據(jù)埋點(diǎn)。

3）策略模型與算法聯(lián)動(dòng)：

接著上一步，你將用戶(hù)興趣標(biāo)簽作為算法的輸入，用以召回商品，再對(duì)模型打分排序。同時(shí)你需要與算法團(tuán)隊(duì)共建：優(yōu)先召回近期互動(dòng)頻繁品類(lèi)，去做個(gè)性化的加權(quán)，比如用戶(hù)的歷史消費(fèi)金額*點(diǎn)擊偏好。

4）制定產(chǎn)品方案，包括策略邏輯、交互設(shè)計(jì)和后臺(tái)配置能力：

策略邏輯說(shuō)明：比如，“猜你喜歡”優(yōu)先展示用戶(hù)最近3次瀏覽品類(lèi)下的高轉(zhuǎn)化商品；

交互設(shè)計(jì)：推薦位樣式不變，后臺(tái)策略調(diào)整，確保用戶(hù)在交互時(shí)無(wú)感知；

后臺(tái)配置能力：將數(shù)據(jù)指標(biāo)經(jīng)由數(shù)倉(cāng)計(jì)算后落庫(kù)，再通過(guò)策略運(yùn)營(yíng)平臺(tái)下發(fā)，形成圈選用戶(hù)的下發(fā)策略。

5）策略協(xié)同與沖突解決：

多條策略難免會(huì)遇到?jīng)_突場(chǎng)景。比如，首頁(yè)也有“限時(shí)促銷(xiāo)”推薦，兩個(gè)模塊都想搶流量位。

這種情況并不罕見(jiàn)，此時(shí)你需要定義策略之間的協(xié)同機(jī)制，設(shè)計(jì)優(yōu)先級(jí)配置系統(tǒng)，根據(jù)用戶(hù)畫(huà)像動(dòng)態(tài)分配推薦位。比如，高消費(fèi)用戶(hù)優(yōu)先“猜你喜歡”，低消費(fèi)用戶(hù)優(yōu)先“促銷(xiāo)”，讓所有推薦策略進(jìn)入統(tǒng)一的策略運(yùn)營(yíng)平臺(tái)，方便后續(xù)持續(xù)優(yōu)化。

這是產(chǎn)品經(jīng)理在策略建設(shè)中的“數(shù)據(jù)-策略-算法-產(chǎn)品-業(yè)務(wù)”的工作閉環(huán)。

同理，產(chǎn)品經(jīng)理在AI產(chǎn)品的策略設(shè)計(jì)中，也需要將業(yè)務(wù)場(chǎng)景轉(zhuǎn)化為可落地的模型策略體系，包括策略設(shè)計(jì)、數(shù)據(jù)支撐、驗(yàn)證反饋與產(chǎn)品化，實(shí)現(xiàn)“業(yè)務(wù)目標(biāo)→模型能力→產(chǎn)品形態(tài)”的完整鏈路。

2.AI產(chǎn)品策略：模型能力的調(diào)優(yōu)和外圍工程的建設(shè)

除共性之外，說(shuō)說(shuō)AI產(chǎn)品策略相較傳統(tǒng)產(chǎn)品策略設(shè)計(jì)的核心區(qū)別。

仔細(xì)回想，原先所謂的產(chǎn)品策略更多是規(guī)則與數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品設(shè)計(jì)范式，即：人制定策略規(guī)則+系統(tǒng)執(zhí)行邏輯，比如：推薦策略、定價(jià)邏輯、排序規(guī)則、匹配機(jī)制、任務(wù)達(dá)標(biāo)邏輯等。背后依賴(lài)的是：

結(jié)構(gòu)化數(shù)據(jù)（標(biāo)簽、指標(biāo)、用戶(hù)行為等）

可解釋的邏輯設(shè)計(jì)（if-then、權(quán)重模型、ABTest等）

可控可調(diào)的系統(tǒng)架構(gòu)（策略平臺(tái)、規(guī)則引擎、定時(shí)調(diào)度等）

而AI產(chǎn)品改變了這套范式。

一方面，大模型引入了“能力即服務(wù)”?；Ｐ停ㄈ鏕PT、Gemini、Claude）提供的是通用語(yǔ)言的理解+生成能力，系統(tǒng)不再依賴(lài)具體規(guī)則，而是：

從數(shù)據(jù)中學(xué)習(xí)模式（訓(xùn)練）

通過(guò)自然語(yǔ)言prompt驅(qū)動(dòng)行為（提示）

通過(guò)外掛知識(shí)或模型微調(diào)提升上下文適應(yīng)能力

底層范式轉(zhuǎn)為：構(gòu)建能力→套用能力→收集反饋→再?gòu)?qiáng)化能力。因此，算法團(tuán)隊(duì)需主導(dǎo)對(duì)基座模型進(jìn)行預(yù)訓(xùn)練，產(chǎn)品經(jīng)理則需要花更多精力在模型能力的調(diào)優(yōu)上，比如模型微調(diào)，就是最常被考慮但最需要謹(jǐn)慎的行動(dòng)點(diǎn)。

另一方面，策略設(shè)計(jì)由“顯式邏輯”變成“能力配置”。傳統(tǒng)策略的輸入主要靠寫(xiě)規(guī)則、配權(quán)重，現(xiàn)在會(huì)更傾向于從設(shè)計(jì)提示詞結(jié)構(gòu)、配置知識(shí)庫(kù)、判斷模型是否微調(diào)逐層分析；而在策略的迭代調(diào)整上，傳統(tǒng)產(chǎn)品以ABtest為主調(diào)整策略，AI產(chǎn)品依賴(lài)數(shù)據(jù)-反饋-能力多輪迭代去提升能力。

是的，當(dāng)模型被訓(xùn)練完成后就擁有了通用和特定領(lǐng)域的知識(shí)和推理能力，但不一定能適配到特定的業(yè)務(wù)場(chǎng)景。大模型雖強(qiáng)，可天然是不穩(wěn)定、不確定、不懂邊界的，因此要圍繞它建大量的工程體系來(lái)約束和監(jiān)控它。

外圍工程是什么？外圍工程是指在不改變大模型本身參數(shù)和訓(xùn)練語(yǔ)料的前提下，通過(guò)外圍能力增強(qiáng)模型的實(shí)用性和可靠性，從而更好地服務(wù)于垂直業(yè)務(wù)的需求。

換言之，真正把大模型從“能力”轉(zhuǎn)化為“生產(chǎn)力”，就必須圍繞它構(gòu)建一套完整的工程化體系，也就是所謂的外圍工程。

一般來(lái)說(shuō)，外圍工程主要覆蓋幾個(gè)方面：

提示工程（PromptEngineering）：通過(guò)設(shè)計(jì)和編寫(xiě)提示文本，引導(dǎo)模型生成符合特定要求的內(nèi)容；

知識(shí)庫(kù)系統(tǒng)（RAG）：結(jié)合外部知識(shí)庫(kù)（如企業(yè)文檔、FAQ、數(shù)據(jù)庫(kù)）進(jìn)行檢索和生成。比如，企業(yè)知識(shí)問(wèn)答、IT技術(shù)支持、財(cái)務(wù)/法律垂類(lèi)助手等；

模型聯(lián)網(wǎng)：顧名思義，讓模型通過(guò)索引網(wǎng)站或搜索引擎上的內(nèi)容，總結(jié)和引用后再輸出內(nèi)容。比如，股市信息摘要、跨境電商價(jià)格檢索等；

插件系統(tǒng)/工具調(diào)用：為模型配置具備特定功能的插件，如搜索、計(jì)算、調(diào)用API等，使其具備“觀察-決策-行動(dòng)”的能力。背后通常集成多模態(tài)輸入、外部系統(tǒng)接口、狀態(tài)管理等能力，是當(dāng)前智能體（Agent）應(yīng)用的底座能力之一。

不止這些，還有上下文管理、多模型路由和策略控制、多模態(tài)輸入和理解支持等，嚴(yán)格來(lái)說(shuō)也都是工程化的一部分。

這套工程放到現(xiàn)在，已然成了AI產(chǎn)品落地的基本盤(pán)，也是策略性工作的重點(diǎn)。尤其是當(dāng)下的AI產(chǎn)品崗，無(wú)論你是服務(wù)于B端還是C端場(chǎng)景，幾乎都會(huì)涉及到這部分職責(zé)。

那么，在模型能力調(diào)優(yōu)和外圍工程方面，產(chǎn)品經(jīng)理在其中的職責(zé)是什么，和算法、研發(fā)之間的分工如何，似乎都不太顯性。

簡(jiǎn)言之，在大模型產(chǎn)品的策略設(shè)計(jì)中，產(chǎn)品經(jīng)理不負(fù)責(zé)“怎么寫(xiě)代碼或訓(xùn)練模型”，但必須負(fù)責(zé)“為什么要做、做哪些、怎么判斷做得好”。

基于AI產(chǎn)品最核心的三種策略手段，我們一個(gè)個(gè)來(lái)說(shuō)。

2.1提示詞工程(PromptEngineering)

提示工程是一個(gè)成本低、無(wú)需編程能力就能做策略調(diào)優(yōu)的工作，產(chǎn)品經(jīng)理更應(yīng)該深入到提示工程優(yōu)化里面去鉆研。

很多人都解釋過(guò)提示工程，這里再稍微澄清下。

提示詞本質(zhì)上是一種AI交互設(shè)計(jì)語(yǔ)言，可以直接影響輸出質(zhì)量，目標(biāo)是通過(guò)優(yōu)化輸入，讓大模型更好地“聽(tīng)懂”和“回答”。

因此，產(chǎn)品經(jīng)理需要負(fù)責(zé)提示詞的應(yīng)用場(chǎng)景設(shè)計(jì)，規(guī)劃提示詞的體系，再由研發(fā)團(tuán)隊(duì)編寫(xiě)提示詞的細(xì)節(jié)，從而讓模型輸出更符合業(yè)務(wù)預(yù)期和用戶(hù)需求的結(jié)果。

聽(tīng)起來(lái)有點(diǎn)繞，簡(jiǎn)單來(lái)說(shuō)：產(chǎn)品經(jīng)理負(fù)責(zé)設(shè)計(jì)“怎么問(wèn)”，算法負(fù)責(zé)“怎么算”。

相比傳統(tǒng)的交互設(shè)計(jì)，提示詞工程更像是意圖層的UX設(shè)計(jì)，即：產(chǎn)品經(jīng)理需要設(shè)計(jì)「用戶(hù)意圖如何被理解」+「模型如何被引導(dǎo)輸出」的整個(gè)閉環(huán)。

如何提升提示詞工程的設(shè)計(jì)能力？與其套用各種花式模板，我認(rèn)為對(duì)產(chǎn)品經(jīng)理而言，更可行的訓(xùn)練方式是：

把提示詞設(shè)計(jì)流程，用Figma+流程圖+表格做出來(lái)，像以前做多輪Bot對(duì)話(huà)那樣設(shè)計(jì)，即：每一輪都要考慮意圖觸發(fā)→指令拆解→內(nèi)容生成→格式輸出；

建立Prompt組件庫(kù)，就像你以前建立組件式UI庫(kù)一樣，以便快速?gòu)?fù)用到不同的Agent或場(chǎng)景中，降低跨部門(mén)的協(xié)作成本；

建議輸出結(jié)構(gòu)時(shí)，強(qiáng)約束格式，如JSON、Markdown、表格等，就像你曾經(jīng)設(shè)計(jì)標(biāo)準(zhǔn)返回格式一樣。輸出結(jié)構(gòu)的格式化，非常便利后續(xù)的系統(tǒng)性ab實(shí)驗(yàn)，以及對(duì)失敗case的分類(lèi)和歸因，形成可分析的Prompt-to-OutputMapping。

本質(zhì)上，這是將提示詞設(shè)計(jì)上升到“產(chǎn)品工程化”的高度，讓提示詞不再只是對(duì)話(huà)玩具，或是一個(gè)唬人的心法，而是真正具備工程調(diào)用能力的接口設(shè)計(jì)。

2.2外掛知識(shí)庫(kù)

外圍工程里另一個(gè)核心部分是知識(shí)庫(kù)建設(shè)，本質(zhì)是為了補(bǔ)充模型記不住、不知道、不能更新的內(nèi)容。這種情況下，研發(fā)和算法團(tuán)隊(duì)會(huì)主導(dǎo)知識(shí)庫(kù)的基建開(kāi)發(fā)工作，產(chǎn)品經(jīng)理負(fù)責(zé)知識(shí)庫(kù)場(chǎng)景定義、內(nèi)容策略、結(jié)構(gòu)和召回規(guī)則的設(shè)計(jì)，確保系統(tǒng)滿(mǎn)足落地需求。

具體職責(zé)包括：

明確哪些問(wèn)題靠知識(shí)庫(kù)，哪些靠大模型生成，可通過(guò)問(wèn)題類(lèi)型分類(lèi)表和意圖識(shí)別路由策略來(lái)實(shí)現(xiàn)；

制定知識(shí)來(lái)源標(biāo)準(zhǔn)（來(lái)源渠道、內(nèi)容標(biāo)準(zhǔn)如準(zhǔn)確性、更新時(shí)效性、安全性等）；

設(shè)計(jì)知識(shí)庫(kù)的組織結(jié)構(gòu)（FAQ型、實(shí)體型、文檔型），比如實(shí)體型就是基于知識(shí)圖譜或結(jié)構(gòu)化數(shù)據(jù)組織的可查詢(xún)實(shí)體，如酒店信息、商品數(shù)據(jù)等；

制定知識(shí)更新機(jī)制（靜態(tài)or動(dòng)態(tài)？由誰(shuí)維護(hù)，是否需要人工審核，更新頻率等）；

設(shè)定知識(shí)召回策略，即：模型調(diào)用知識(shí)庫(kù)的時(shí)機(jī)和優(yōu)先級(jí)。

舉個(gè)例子，你正在做一個(gè)支持AI智能客服的產(chǎn)品，模型回答一些標(biāo)準(zhǔn)問(wèn)題經(jīng)常答不準(zhǔn)或產(chǎn)生幻覺(jué)，你判斷：

大模型通識(shí)能力不夠；

提示詞的增強(qiáng)效果有限；

需要外掛知識(shí)庫(kù)，采用RAG（Retrieval-AugmentedGeneration）架構(gòu)。

那么，在策略考慮上，你需要主導(dǎo)知識(shí)庫(kù)結(jié)構(gòu)設(shè)計(jì)與RAG調(diào)用邏輯方案。

首先是知識(shí)庫(kù)結(jié)構(gòu)的整體規(guī)劃，你要思考的核心問(wèn)題是：

要注入什么知識(shí)？

知識(shí)以什么形式存儲(chǔ)？

怎么讓模型好用？

1）知識(shí)導(dǎo)入：

明確知識(shí)來(lái)源，輸出《知識(shí)內(nèi)容源清單&類(lèi)型歸類(lèi)表》。為此你要拉通業(yè)務(wù)團(tuán)隊(duì)、客服團(tuán)隊(duì)、知識(shí)庫(kù)團(tuán)隊(duì)，確認(rèn)知識(shí)結(jié)構(gòu)包括：

2）知識(shí)抽?。?/p>

產(chǎn)品要負(fù)責(zé)設(shè)計(jì)知識(shí)顆粒度與分段策略：

分段太粗，可能會(huì)導(dǎo)致召回的信息干擾多；

分段太細(xì)，容易導(dǎo)致上下文丟失或無(wú)法覆蓋完整答案。

常見(jiàn)的分段方式有：按文檔結(jié)構(gòu)分段，比如每個(gè)FAQ一段，每個(gè)操作步驟一段；按主題分段，比如按退貨、丟件、配送等主題切分；按意圖標(biāo)簽組織，比如「物流查詢(xún)意圖」的標(biāo)準(zhǔn)回答集合就是一段。

3）知識(shí)召回：

該過(guò)程涉及到的環(huán)節(jié)較多，其中產(chǎn)品經(jīng)理要注意定義嵌入策略（Embedding），輸出知識(shí)入庫(kù)規(guī)則，再交給算法或工程團(tuán)隊(duì)接入到向量存儲(chǔ)平臺(tái)。

簡(jiǎn)單來(lái)說(shuō)，Embedding就是把一句話(huà)變成一串能讓計(jì)算機(jī)理解的數(shù)字（向量）。當(dāng)你把知識(shí)倉(cāng)庫(kù)搭建好，里面有大量的句子和文章，你希望將來(lái)別人來(lái)提問(wèn)時(shí)，AI能準(zhǔn)確找到相關(guān)的內(nèi)容并回答。而AI不懂人類(lèi)的語(yǔ)言，它只能理解數(shù)字。因此你需要把文字變成向量，以便后續(xù)的向量召回。

注意，你不需要寫(xiě)embedding算法，但你要確定：

分段內(nèi)容中，哪些字段需要embedding（如正文+標(biāo)題）

向量庫(kù)結(jié)構(gòu)：是否需要多模態(tài)向量？多個(gè)通道？

是否加索引字段用于召回過(guò)濾？

其次是RAG調(diào)用邏輯的設(shè)計(jì)，核心目標(biāo)是：當(dāng)用戶(hù)問(wèn)一句話(huà)時(shí)，該應(yīng)用能召回正確的知識(shí)段，并組織成有效的prompt，讓大模型生成可靠答案。

1）設(shè)計(jì)檢索邏輯，明確檢索規(guī)則、召回?cái)?shù)量和過(guò)濾機(jī)制，以確保知識(shí)的召回率。

2）設(shè)計(jì)Prompt拼接策略，你要定義：召回的知識(shí)段，如何拼到prompt中？拼什么？拼幾段？拼的位置是哪？

比如，知識(shí)在拼接時(shí)要講究結(jié)構(gòu)的標(biāo)準(zhǔn)化，可以定義一些格式模板。這些結(jié)構(gòu)化的知識(shí)可以拼在系統(tǒng)提示（systemprompt）中，或是用戶(hù)輸入后作為背景補(bǔ)充。

此外，拼接的內(nèi)容一般都會(huì)控制長(zhǎng)度，結(jié)合數(shù)據(jù)相關(guān)度或分類(lèi)做權(quán)重排序，避免超出token限制。

3）設(shè)計(jì)回答可信機(jī)制與兜底應(yīng)對(duì)策略。大模型仍可能輸出幻覺(jué)，因此你要定義：

當(dāng)召回失敗時(shí)：輸出「抱歉我沒(méi)找到相關(guān)信息」or其他兜底和引導(dǎo)話(huà)術(shù)；

當(dāng)召回信息過(guò)多時(shí)：提示用戶(hù)細(xì)化或進(jìn)一步明確問(wèn)題；

輸出結(jié)果是否附帶“參考信息”字段提升信任感（如“本回答來(lái)源于XXX知識(shí)文檔”）

4）上線(xiàn)后的數(shù)據(jù)閉環(huán)。該過(guò)程在所有類(lèi)型的產(chǎn)品落地時(shí)都會(huì)多次強(qiáng)調(diào)，對(duì)知識(shí)庫(kù)而言，你需要重點(diǎn)關(guān)注知識(shí)的召回率與準(zhǔn)確率，同時(shí)建立知識(shí)內(nèi)容的版本管理與動(dòng)態(tài)更新機(jī)制，確保知識(shí)庫(kù)在實(shí)際應(yīng)用中的持續(xù)有效性與業(yè)務(wù)匹配度。

這不僅是效果評(píng)估手段，更是推動(dòng)知識(shí)庫(kù)持續(xù)演進(jìn)與模型能力迭代的關(guān)鍵機(jī)制。

2.3模型微調(diào)

如果說(shuō)，模型的預(yù)訓(xùn)練環(huán)節(jié)是通過(guò)海量的語(yǔ)料讓模型學(xué)習(xí)通用規(guī)律，讓模型在巨大的圖書(shū)館中自學(xué)成才，那么微調(diào)則是做模型的老師，定義標(biāo)準(zhǔn)答案，負(fù)責(zé)打磨優(yōu)質(zhì)的學(xué)生樣本出來(lái)，對(duì)其針對(duì)性輔導(dǎo)，以便讓模型去學(xué)習(xí)和模仿。

在預(yù)訓(xùn)練環(huán)節(jié)，參數(shù)量和語(yǔ)料的豐富多樣幾乎直接決定了預(yù)訓(xùn)練后模型的智商上限；而在微調(diào)環(huán)節(jié)，樣本的質(zhì)量和多樣性決定了模型的專(zhuān)業(yè)度和可控性。

舉個(gè)例子，你做了一個(gè)物流客服機(jī)器人，泛化模型回答太泛，于是你提出針對(duì)「快遞物流問(wèn)題」微調(diào)一個(gè)專(zhuān)用模型。在微調(diào)模型的過(guò)程，涉及到具體微調(diào)的方法、訓(xùn)練調(diào)參的工作，由算法團(tuán)隊(duì)支持；但關(guān)于微調(diào)場(chǎng)景的定義、數(shù)據(jù)策略和資源的優(yōu)先級(jí)，由產(chǎn)品經(jīng)理負(fù)責(zé)。

第一步：明確調(diào)優(yōu)目標(biāo)，輸出能力調(diào)優(yōu)的需求說(shuō)明書(shū)，包含問(wèn)題類(lèi)型分析、失敗示例、當(dāng)前能力的評(píng)估結(jié)果。

你要正面明確以下幾個(gè)問(wèn)題：

哪類(lèi)問(wèn)題表現(xiàn)差？回答是否穩(wěn)定？

提示詞優(yōu)化是否有效？

是否值得微調(diào)？

第二步：定義微調(diào)的數(shù)據(jù)范圍與質(zhì)量標(biāo)準(zhǔn)，輸出《標(biāo)注任務(wù)說(shuō)明》，包括標(biāo)簽體系、數(shù)據(jù)格式、案例等，可交給數(shù)據(jù)團(tuán)隊(duì)執(zhí)行。

第三步：定義微調(diào)的策略和能力邊界，包括目標(biāo)、調(diào)用邏輯、能力邊界和風(fēng)險(xiǎn)點(diǎn)等。

第四步：設(shè)計(jì)評(píng)估機(jī)制與上線(xiàn)驗(yàn)收的標(biāo)準(zhǔn)，從業(yè)務(wù)視角定義「什么是好結(jié)果」，幫助算法明確優(yōu)化方向。

衡量指標(biāo)可以是：準(zhǔn)確率的提升，同類(lèi)問(wèn)題回答的一致性，用戶(hù)的滿(mǎn)意度，推理成本的控制等，視具體的應(yīng)用場(chǎng)景去調(diào)整。

第五步：上線(xiàn)后數(shù)據(jù)閉環(huán)與策略?xún)?yōu)化，輸出《上線(xiàn)效果評(píng)估報(bào)告》，看是否達(dá)成目標(biāo)，是否需要進(jìn)一步迭代。

和前文的外掛知識(shí)庫(kù)一樣，上線(xiàn)后你需要監(jiān)控模型微調(diào)后的核心指標(biāo)變化，比如模型的調(diào)用次數(shù)、回答的準(zhǔn)確率、用戶(hù)的滿(mǎn)意度等，并及時(shí)分析失敗case，看是否存在一些意圖識(shí)別錯(cuò)誤、回答內(nèi)容偏移的問(wèn)題。

不同之處在于，模型微調(diào)的成本更高（研發(fā)投入+算力），以至于你必須把評(píng)估ROI納入到每次微調(diào)的復(fù)盤(pán)工作中，去甄別微調(diào)帶來(lái)的滿(mǎn)意度提升是否匹配訓(xùn)練+推理的成本投入。

3.小結(jié)

現(xiàn)階段市面上所謂“AI產(chǎn)品經(jīng)理”，很多其實(shí)只是用過(guò)API的“偽AI產(chǎn)品經(jīng)理”，而真正能從“業(yè)務(wù)需求→模型能力→場(chǎng)景設(shè)計(jì)→效果評(píng)估與優(yōu)化”的AI產(chǎn)品經(jīng)理鳳毛麟角。

傳統(tǒng)產(chǎn)品經(jīng)理大多分外關(guān)注用戶(hù)體驗(yàn)路徑和產(chǎn)品功能形態(tài)的落地，這無(wú)可厚非。但除此之外，AI產(chǎn)品經(jīng)理更要重視技術(shù)上下游（算法、數(shù)據(jù)、工程團(tuán)隊(duì)）的協(xié)作，需重點(diǎn)考慮將能力調(diào)優(yōu)和外圍工程融入產(chǎn)品設(shè)計(jì)，并通過(guò)策略制定實(shí)現(xiàn)產(chǎn)品價(jià)值的最大化。

產(chǎn)品策略是方向盤(pán)，決定我們做對(duì)的事；用戶(hù)體驗(yàn)是油門(mén)和剎車(chē)，決定我們把事做對(duì)。二者互為配合和牽制：向左走，你需要理解模型的能力邊界、業(yè)務(wù)目標(biāo)和反饋機(jī)制；向右走，你需要深入用戶(hù)行為背后的動(dòng)機(jī)，構(gòu)建良好的交互體驗(yàn)和輸出信任。

左右互搏的過(guò)程中，用戶(hù)體驗(yàn)必須服務(wù)于產(chǎn)品的策略目標(biāo)，產(chǎn)品策略也要為用戶(hù)體驗(yàn)讓路。

專(zhuān)欄作家

編輯精選《九品相婿》,炙手可熱的橋段,相愛(ài)相殺看不夠!

良心大作《九品相婿》,少年,你不按套路出牌的樣子真的很靚仔

《九品相婿》:所有平臺(tái)書(shū)友都在同時(shí)推薦這本書(shū)!它到底有什么魅力?