當(dāng)AI浪潮席卷而來，產(chǎn)品經(jīng)理們站在十字路口：一邊是戰(zhàn)略驅(qū)動(dòng)的產(chǎn)品布局，一邊是體驗(yàn)為王的用戶需求。在這場技術(shù)與人性的博弈中，如何找到平衡點(diǎn)，既不迷失在“左腦”的理性推演中，也不沉溺于“右腦”的感性想象？本篇文章將從產(chǎn)品策略與用戶體驗(yàn)的雙重視角，拆解AI產(chǎn)品背后的思維邏輯，帶你看清AI時(shí)代產(chǎn)品人的新坐標(biāo)。
產(chǎn)品經(jīng)理重用戶體驗(yàn)的要求早已稀松平常，今天來聊聊策略設(shè)計(jì)。
為什么要單獨(dú)開一篇文章介紹？
一方面是現(xiàn)今產(chǎn)品同質(zhì)化嚴(yán)重，同個(gè)領(lǐng)域的產(chǎn)品無論是產(chǎn)品核心流程、設(shè)計(jì)結(jié)構(gòu)還是視覺風(fēng)格，都殊途同歸；另一方面，AI硬科技的浪潮下，僅從產(chǎn)品的外觀表現(xiàn)你很難真正了解一款產(chǎn)品，產(chǎn)品的差異不再是多么花哨的視覺和別出心裁的交互體驗(yàn)，更多的是底層策略的高下之分。
回到今天的話題，我的論斷是：大模型產(chǎn)品百花齊放的時(shí)代，產(chǎn)品策略的建設(shè)變得比過去更稀缺、更核心。究其原因，主要有以下幾點(diǎn)：
首先是大模型產(chǎn)品的泛化能力，不再是即插即用，而要看你如何將特定的能力封裝成產(chǎn)品功能。這近似是一個(gè)條件優(yōu)化的問題：基于當(dāng)前的大模型能力，找到一個(gè)最能產(chǎn)出價(jià)值的業(yè)務(wù)場景，選一個(gè)剛需、可控又能衡量ROI的點(diǎn)，先把這個(gè)點(diǎn)打穿。這個(gè)轉(zhuǎn)化過程強(qiáng)依賴產(chǎn)品經(jīng)理定義適用場景和約束邊界；
其次是成本敏感的特征，不像傳統(tǒng)軟件服務(wù)的邊際成本趨近于0，模型的每次推理都有顯著成本，產(chǎn)品經(jīng)理得在調(diào)用頻率、外圍工程、用戶路徑之間做資源的權(quán)衡。比如，你可以定義一些工程手段，把大模型變得盡量穩(wěn)定，例如加入一些規(guī)則引擎、知識圖譜、RAG、提示詞模板、審核和兜底機(jī)制等，確保大模型的輸出是成本可控且體驗(yàn)穩(wěn)定的。
最后是反饋的不確定。即便你應(yīng)用場景找對了，工程手段也上了，但產(chǎn)品的輸出效果非線性，缺乏閉環(huán)的反饋機(jī)制，也純粹只是靜態(tài)試驗(yàn)品。真實(shí)用戶的使用數(shù)據(jù)、問題記錄和滿意度反饋，得作為迭代優(yōu)化的依據(jù)。你需要設(shè)計(jì)閉環(huán)反饋和能力評估機(jī)制，這些都屬于策略性的工作。
當(dāng)需求場景已經(jīng)明確，用戶體驗(yàn)和產(chǎn)品策略的設(shè)計(jì)都應(yīng)該齊頭并進(jìn)。如果說，用戶體驗(yàn)設(shè)計(jì)就像是在搭房子，比如設(shè)計(jì)房間布局、功能、裝修風(fēng)格；那么產(chǎn)品策略設(shè)計(jì)就是在建設(shè)水電氣暖，讓整個(gè)房子合理運(yùn)轉(zhuǎn)且節(jié)能高效。二者缺一不可。
1.策略產(chǎn)品：從業(yè)務(wù)出發(fā)，用數(shù)據(jù)驅(qū)動(dòng)
先來介紹下策略產(chǎn)品。
策略產(chǎn)品的本質(zhì)是：基于數(shù)據(jù)和業(yè)務(wù)洞察，制定科學(xué)的產(chǎn)品策略，并通過數(shù)據(jù)體系、算法策略和能力封裝，將這些策略落地為具體可執(zhí)行的產(chǎn)品功能。
劃重點(diǎn)：一個(gè)是從業(yè)務(wù)出發(fā)，一個(gè)是用數(shù)據(jù)驅(qū)動(dòng)。
舉個(gè)例子，你在負(fù)責(zé)電商平臺“猜你喜歡”的推薦策略優(yōu)化，該模塊的推薦點(diǎn)擊率低，用戶轉(zhuǎn)化不佳，影響整體GMV。
你的工作重心繞不開以下幾點(diǎn)：
1）從業(yè)務(wù)出發(fā)，識別策略機(jī)會(huì)：
轉(zhuǎn)化率低→用戶推薦不精準(zhǔn)→用戶興趣未被滿足，將該問題轉(zhuǎn)化為策略問題：如何讓推薦結(jié)果更貼合用戶興趣？
為此你可能需要調(diào)整推薦優(yōu)先級邏輯與召回策略。你可以定義目標(biāo)場景與優(yōu)先級：提升首頁推薦點(diǎn)擊率+后續(xù)轉(zhuǎn)化率→優(yōu)先攻關(guān)“高活躍用戶+高客單價(jià)商品”場景。
2）以數(shù)據(jù)為驅(qū)動(dòng)，設(shè)計(jì)底層數(shù)據(jù)體系：
輸入數(shù)據(jù)：用戶畫像（性別、年齡、消費(fèi)偏好）、瀏覽行為（近期點(diǎn)擊、停留時(shí)長）、商品特征（品類、價(jià)格、促銷力度）；
輸出指標(biāo)：推薦點(diǎn)擊率（CTR）、推薦轉(zhuǎn)化率（CVR）、單位推薦位GMV貢獻(xiàn)；
在此基礎(chǔ)上，你可以跟數(shù)據(jù)團(tuán)隊(duì)協(xié)作，補(bǔ)充用戶興趣標(biāo)簽字段，建立“推薦行為-轉(zhuǎn)化”的映射關(guān)系，完善數(shù)據(jù)埋點(diǎn)。
3）策略模型與算法聯(lián)動(dòng)：
接著上一步，你將用戶興趣標(biāo)簽作為算法的輸入，用以召回商品，再對模型打分排序。同時(shí)你需要與算法團(tuán)隊(duì)共建：優(yōu)先召回近期互動(dòng)頻繁品類，去做個(gè)性化的加權(quán)，比如用戶的歷史消費(fèi)金額*點(diǎn)擊偏好。
4）制定產(chǎn)品方案，包括策略邏輯、交互設(shè)計(jì)和后臺配置能力：
策略邏輯說明：比如，“猜你喜歡”優(yōu)先展示用戶最近3次瀏覽品類下的高轉(zhuǎn)化商品；
交互設(shè)計(jì)：推薦位樣式不變，后臺策略調(diào)整，確保用戶在交互時(shí)無感知；
后臺配置能力：將數(shù)據(jù)指標(biāo)經(jīng)由數(shù)倉計(jì)算后落庫，再通過策略運(yùn)營平臺下發(fā)，形成圈選用戶的下發(fā)策略。
5）策略協(xié)同與沖突解決：
多條策略難免會(huì)遇到?jīng)_突場景。比如，首頁也有“限時(shí)促銷”推薦，兩個(gè)模塊都想搶流量位。
這種情況并不罕見，此時(shí)你需要定義策略之間的協(xié)同機(jī)制，設(shè)計(jì)優(yōu)先級配置系統(tǒng)，根據(jù)用戶畫像動(dòng)態(tài)分配推薦位。比如，高消費(fèi)用戶優(yōu)先“猜你喜歡”，低消費(fèi)用戶優(yōu)先“促銷”，讓所有推薦策略進(jìn)入統(tǒng)一的策略運(yùn)營平臺，方便后續(xù)持續(xù)優(yōu)化。
這是產(chǎn)品經(jīng)理在策略建設(shè)中的“數(shù)據(jù)-策略-算法-產(chǎn)品-業(yè)務(wù)”的工作閉環(huán)。
同理，產(chǎn)品經(jīng)理在AI產(chǎn)品的策略設(shè)計(jì)中，也需要將業(yè)務(wù)場景轉(zhuǎn)化為可落地的模型策略體系，包括策略設(shè)計(jì)、數(shù)據(jù)支撐、驗(yàn)證反饋與產(chǎn)品化，實(shí)現(xiàn)“業(yè)務(wù)目標(biāo)→模型能力→產(chǎn)品形態(tài)”的完整鏈路。
2.AI產(chǎn)品策略：模型能力的調(diào)優(yōu)和外圍工程的建設(shè)
除共性之外，說說AI產(chǎn)品策略相較傳統(tǒng)產(chǎn)品策略設(shè)計(jì)的核心區(qū)別。
仔細(xì)回想，原先所謂的產(chǎn)品策略更多是規(guī)則與數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品設(shè)計(jì)范式，即：人制定策略規(guī)則+系統(tǒng)執(zhí)行邏輯，比如：推薦策略、定價(jià)邏輯、排序規(guī)則、匹配機(jī)制、任務(wù)達(dá)標(biāo)邏輯等。背后依賴的是：
結(jié)構(gòu)化數(shù)據(jù)（標(biāo)簽、指標(biāo)、用戶行為等）
可解釋的邏輯設(shè)計(jì)（if-then、權(quán)重模型、ABTest等）
可控可調(diào)的系統(tǒng)架構(gòu)（策略平臺、規(guī)則引擎、定時(shí)調(diào)度等）
而AI產(chǎn)品改變了這套范式。
一方面，大模型引入了“能力即服務(wù)”。基座模型（如GPT、Gemini、Claude）提供的是通用語言的理解+生成能力，系統(tǒng)不再依賴具體規(guī)則，而是：
從數(shù)據(jù)中學(xué)習(xí)模式（訓(xùn)練）
通過自然語言prompt驅(qū)動(dòng)行為（提示）
通過外掛知識或模型微調(diào)提升上下文適應(yīng)能力
底層范式轉(zhuǎn)為：構(gòu)建能力→套用能力→收集反饋→再強(qiáng)化能力。因此，算法團(tuán)隊(duì)需主導(dǎo)對基座模型進(jìn)行預(yù)訓(xùn)練，產(chǎn)品經(jīng)理則需要花更多精力在模型能力的調(diào)優(yōu)上，比如模型微調(diào)，就是最常被考慮但最需要謹(jǐn)慎的行動(dòng)點(diǎn)。
另一方面，策略設(shè)計(jì)由“顯式邏輯”變成“能力配置”。傳統(tǒng)策略的輸入主要靠寫規(guī)則、配權(quán)重，現(xiàn)在會(huì)更傾向于從設(shè)計(jì)提示詞結(jié)構(gòu)、配置知識庫、判斷模型是否微調(diào)逐層分析；而在策略的迭代調(diào)整上，傳統(tǒng)產(chǎn)品以ABtest為主調(diào)整策略，AI產(chǎn)品依賴數(shù)據(jù)-反饋-能力多輪迭代去提升能力。
是的，當(dāng)模型被訓(xùn)練完成后就擁有了通用和特定領(lǐng)域的知識和推理能力，但不一定能適配到特定的業(yè)務(wù)場景。大模型雖強(qiáng)，可天然是不穩(wěn)定、不確定、不懂邊界的，因此要圍繞它建大量的工程體系來約束和監(jiān)控它。
外圍工程是什么？外圍工程是指在不改變大模型本身參數(shù)和訓(xùn)練語料的前提下，通過外圍能力增強(qiáng)模型的實(shí)用性和可靠性，從而更好地服務(wù)于垂直業(yè)務(wù)的需求。
換言之，真正把大模型從“能力”轉(zhuǎn)化為“生產(chǎn)力”，就必須圍繞它構(gòu)建一套完整的工程化體系，也就是所謂的外圍工程。
一般來說，外圍工程主要覆蓋幾個(gè)方面：
提示工程（PromptEngineering）：通過設(shè)計(jì)和編寫提示文本，引導(dǎo)模型生成符合特定要求的內(nèi)容；
知識庫系統(tǒng)（RAG）：結(jié)合外部知識庫（如企業(yè)文檔、FAQ、數(shù)據(jù)庫）進(jìn)行檢索和生成。比如，企業(yè)知識問答、IT技術(shù)支持、財(cái)務(wù)/法律垂類助手等；
模型聯(lián)網(wǎng)：顧名思義，讓模型通過索引網(wǎng)站或搜索引擎上的內(nèi)容，總結(jié)和引用后再輸出內(nèi)容。比如，股市信息摘要、跨境電商價(jià)格檢索等；
插件系統(tǒng)/工具調(diào)用：為模型配置具備特定功能的插件，如搜索、計(jì)算、調(diào)用API等，使其具備“觀察-決策-行動(dòng)”的能力。背后通常集成多模態(tài)輸入、外部系統(tǒng)接口、狀態(tài)管理等能力，是當(dāng)前智能體（Agent）應(yīng)用的底座能力之一。
不止這些，還有上下文管理、多模型路由和策略控制、多模態(tài)輸入和理解支持等，嚴(yán)格來說也都是工程化的一部分。
這套工程放到現(xiàn)在，已然成了AI產(chǎn)品落地的基本盤，也是策略性工作的重點(diǎn)。尤其是當(dāng)下的AI產(chǎn)品崗，無論你是服務(wù)于B端還是C端場景，幾乎都會(huì)涉及到這部分職責(zé)。
那么，在模型能力調(diào)優(yōu)和外圍工程方面，產(chǎn)品經(jīng)理在其中的職責(zé)是什么，和算法、研發(fā)之間的分工如何，似乎都不太顯性。
簡言之，在大模型產(chǎn)品的策略設(shè)計(jì)中，產(chǎn)品經(jīng)理不負(fù)責(zé)“怎么寫代碼或訓(xùn)練模型”，但必須負(fù)責(zé)“為什么要做、做哪些、怎么判斷做得好”。
基于AI產(chǎn)品最核心的三種策略手段，我們一個(gè)個(gè)來說。
2.1提示詞工程(PromptEngineering)
提示工程是一個(gè)成本低、無需編程能力就能做策略調(diào)優(yōu)的工作，產(chǎn)品經(jīng)理更應(yīng)該深入到提示工程優(yōu)化里面去鉆研。
很多人都解釋過提示工程，這里再稍微澄清下。
提示詞本質(zhì)上是一種AI交互設(shè)計(jì)語言，可以直接影響輸出質(zhì)量，目標(biāo)是通過優(yōu)化輸入，讓大模型更好地“聽懂”和“回答”。
因此，產(chǎn)品經(jīng)理需要負(fù)責(zé)提示詞的應(yīng)用場景設(shè)計(jì)，規(guī)劃提示詞的體系，再由研發(fā)團(tuán)隊(duì)編寫提示詞的細(xì)節(jié)，從而讓模型輸出更符合業(yè)務(wù)預(yù)期和用戶需求的結(jié)果。
聽起來有點(diǎn)繞，簡單來說：產(chǎn)品經(jīng)理負(fù)責(zé)設(shè)計(jì)“怎么問”，算法負(fù)責(zé)“怎么算”。
相比傳統(tǒng)的交互設(shè)計(jì)，提示詞工程更像是意圖層的UX設(shè)計(jì)，即：產(chǎn)品經(jīng)理需要設(shè)計(jì)「用戶意圖如何被理解」+「模型如何被引導(dǎo)輸出」的整個(gè)閉環(huán)。
如何提升提示詞工程的設(shè)計(jì)能力？與其套用各種花式模板，我認(rèn)為對產(chǎn)品經(jīng)理而言，更可行的訓(xùn)練方式是：
把提示詞設(shè)計(jì)流程，用Figma+流程圖+表格做出來，像以前做多輪Bot對話那樣設(shè)計(jì)，即：每一輪都要考慮意圖觸發(fā)→指令拆解→內(nèi)容生成→格式輸出；
建立Prompt組件庫，就像你以前建立組件式UI庫一樣，以便快速復(fù)用到不同的Agent或場景中，降低跨部門的協(xié)作成本；
建議輸出結(jié)構(gòu)時(shí)，強(qiáng)約束格式，如JSON、Markdown、表格等，就像你曾經(jīng)設(shè)計(jì)標(biāo)準(zhǔn)返回格式一樣。輸出結(jié)構(gòu)的格式化，非常便利后續(xù)的系統(tǒng)性ab實(shí)驗(yàn)，以及對失敗case的分類和歸因，形成可分析的Prompt-to-OutputMapping。
本質(zhì)上，這是將提示詞設(shè)計(jì)上升到“產(chǎn)品工程化”的高度，讓提示詞不再只是對話玩具，或是一個(gè)唬人的心法，而是真正具備工程調(diào)用能力的接口設(shè)計(jì)。
2.2外掛知識庫
外圍工程里另一個(gè)核心部分是知識庫建設(shè)，本質(zhì)是為了補(bǔ)充模型記不住、不知道、不能更新的內(nèi)容。這種情況下，研發(fā)和算法團(tuán)隊(duì)會(huì)主導(dǎo)知識庫的基建開發(fā)工作，產(chǎn)品經(jīng)理負(fù)責(zé)知識庫場景定義、內(nèi)容策略、結(jié)構(gòu)和召回規(guī)則的設(shè)計(jì)，確保系統(tǒng)滿足落地需求。
具體職責(zé)包括：
明確哪些問題靠知識庫，哪些靠大模型生成，可通過問題類型分類表和意圖識別路由策略來實(shí)現(xiàn)；
制定知識來源標(biāo)準(zhǔn)（來源渠道、內(nèi)容標(biāo)準(zhǔn)如準(zhǔn)確性、更新時(shí)效性、安全性等）；
設(shè)計(jì)知識庫的組織結(jié)構(gòu)（FAQ型、實(shí)體型、文檔型），比如實(shí)體型就是基于知識圖譜或結(jié)構(gòu)化數(shù)據(jù)組織的可查詢實(shí)體，如酒店信息、商品數(shù)據(jù)等；
制定知識更新機(jī)制（靜態(tài)or動(dòng)態(tài)？由誰維護(hù)，是否需要人工審核，更新頻率等）；
設(shè)定知識召回策略，即：模型調(diào)用知識庫的時(shí)機(jī)和優(yōu)先級。
舉個(gè)例子，你正在做一個(gè)支持AI智能客服的產(chǎn)品，模型回答一些標(biāo)準(zhǔn)問題經(jīng)常答不準(zhǔn)或產(chǎn)生幻覺，你判斷：
大模型通識能力不夠；
提示詞的增強(qiáng)效果有限；
需要外掛知識庫，采用RAG（Retrieval-AugmentedGeneration）架構(gòu)。
那么，在策略考慮上，你需要主導(dǎo)知識庫結(jié)構(gòu)設(shè)計(jì)與RAG調(diào)用邏輯方案。
首先是知識庫結(jié)構(gòu)的整體規(guī)劃，你要思考的核心問題是：
要注入什么知識？
知識以什么形式存儲(chǔ)？
怎么讓模型好用？
1）知識導(dǎo)入：
明確知識來源，輸出《知識內(nèi)容源清單&類型歸類表》。為此你要拉通業(yè)務(wù)團(tuán)隊(duì)、客服團(tuán)隊(duì)、知識庫團(tuán)隊(duì)，確認(rèn)知識結(jié)構(gòu)包括：
2）知識抽?。?/p>
產(chǎn)品要負(fù)責(zé)設(shè)計(jì)知識顆粒度與分段策略：
分段太粗，可能會(huì)導(dǎo)致召回的信息干擾多；
分段太細(xì)，容易導(dǎo)致上下文丟失或無法覆蓋完整答案。
常見的分段方式有：按文檔結(jié)構(gòu)分段，比如每個(gè)FAQ一段，每個(gè)操作步驟一段；按主題分段，比如按退貨、丟件、配送等主題切分；按意圖標(biāo)簽組織，比如「物流查詢意圖」的標(biāo)準(zhǔn)回答集合就是一段。
3）知識召回：
該過程涉及到的環(huán)節(jié)較多，其中產(chǎn)品經(jīng)理要注意定義嵌入策略（Embedding），輸出知識入庫規(guī)則，再交給算法或工程團(tuán)隊(duì)接入到向量存儲(chǔ)平臺。
簡單來說，Embedding就是把一句話變成一串能讓計(jì)算機(jī)理解的數(shù)字（向量）。當(dāng)你把知識倉庫搭建好，里面有大量的句子和文章，你希望將來別人來提問時(shí)，AI能準(zhǔn)確找到相關(guān)的內(nèi)容并回答。而AI不懂人類的語言，它只能理解數(shù)字。因此你需要把文字變成向量，以便后續(xù)的向量召回。
注意，你不需要寫embedding算法，但你要確定：
分段內(nèi)容中，哪些字段需要embedding（如正文+標(biāo)題）
向量庫結(jié)構(gòu)：是否需要多模態(tài)向量？多個(gè)通道？
是否加索引字段用于召回過濾？
其次是RAG調(diào)用邏輯的設(shè)計(jì)，核心目標(biāo)是：當(dāng)用戶問一句話時(shí)，該應(yīng)用能召回正確的知識段，并組織成有效的prompt，讓大模型生成可靠答案。
1）設(shè)計(jì)檢索邏輯，明確檢索規(guī)則、召回?cái)?shù)量和過濾機(jī)制，以確保知識的召回率。
2）設(shè)計(jì)Prompt拼接策略，你要定義：召回的知識段，如何拼到prompt中？拼什么？拼幾段？拼的位置是哪？
比如，知識在拼接時(shí)要講究結(jié)構(gòu)的標(biāo)準(zhǔn)化，可以定義一些格式模板。這些結(jié)構(gòu)化的知識可以拼在系統(tǒng)提示（systemprompt）中，或是用戶輸入后作為背景補(bǔ)充。
此外，拼接的內(nèi)容一般都會(huì)控制長度，結(jié)合數(shù)據(jù)相關(guān)度或分類做權(quán)重排序，避免超出token限制。
3）設(shè)計(jì)回答可信機(jī)制與兜底應(yīng)對策略。大模型仍可能輸出幻覺，因此你要定義：
當(dāng)召回失敗時(shí)：輸出「抱歉我沒找到相關(guān)信息」or其他兜底和引導(dǎo)話術(shù)；
當(dāng)召回信息過多時(shí)：提示用戶細(xì)化或進(jìn)一步明確問題；
輸出結(jié)果是否附帶“參考信息”字段提升信任感（如“本回答來源于XXX知識文檔”）
4）上線后的數(shù)據(jù)閉環(huán)。該過程在所有類型的產(chǎn)品落地時(shí)都會(huì)多次強(qiáng)調(diào)，對知識庫而言，你需要重點(diǎn)關(guān)注知識的召回率與準(zhǔn)確率，同時(shí)建立知識內(nèi)容的版本管理與動(dòng)態(tài)更新機(jī)制，確保知識庫在實(shí)際應(yīng)用中的持續(xù)有效性與業(yè)務(wù)匹配度。
這不僅是效果評估手段，更是推動(dòng)知識庫持續(xù)演進(jìn)與模型能力迭代的關(guān)鍵機(jī)制。
2.3模型微調(diào)
如果說，模型的預(yù)訓(xùn)練環(huán)節(jié)是通過海量的語料讓模型學(xué)習(xí)通用規(guī)律，讓模型在巨大的圖書館中自學(xué)成才，那么微調(diào)則是做模型的老師，定義標(biāo)準(zhǔn)答案，負(fù)責(zé)打磨優(yōu)質(zhì)的學(xué)生樣本出來，對其針對性輔導(dǎo)，以便讓模型去學(xué)習(xí)和模仿。
在預(yù)訓(xùn)練環(huán)節(jié)，參數(shù)量和語料的豐富多樣幾乎直接決定了預(yù)訓(xùn)練后模型的智商上限；而在微調(diào)環(huán)節(jié)，樣本的質(zhì)量和多樣性決定了模型的專業(yè)度和可控性。
舉個(gè)例子，你做了一個(gè)物流客服機(jī)器人，泛化模型回答太泛，于是你提出針對「快遞物流問題」微調(diào)一個(gè)專用模型。在微調(diào)模型的過程，涉及到具體微調(diào)的方法、訓(xùn)練調(diào)參的工作，由算法團(tuán)隊(duì)支持；但關(guān)于微調(diào)場景的定義、數(shù)據(jù)策略和資源的優(yōu)先級，由產(chǎn)品經(jīng)理負(fù)責(zé)。
第一步：明確調(diào)優(yōu)目標(biāo)，輸出能力調(diào)優(yōu)的需求說明書，包含問題類型分析、失敗示例、當(dāng)前能力的評估結(jié)果。
你要正面明確以下幾個(gè)問題：
哪類問題表現(xiàn)差？回答是否穩(wěn)定？
提示詞優(yōu)化是否有效？
是否值得微調(diào)？
第二步：定義微調(diào)的數(shù)據(jù)范圍與質(zhì)量標(biāo)準(zhǔn)，輸出《標(biāo)注任務(wù)說明》，包括標(biāo)簽體系、數(shù)據(jù)格式、案例等，可交給數(shù)據(jù)團(tuán)隊(duì)執(zhí)行。
第三步：定義微調(diào)的策略和能力邊界，包括目標(biāo)、調(diào)用邏輯、能力邊界和風(fēng)險(xiǎn)點(diǎn)等。
第四步：設(shè)計(jì)評估機(jī)制與上線驗(yàn)收的標(biāo)準(zhǔn)，從業(yè)務(wù)視角定義「什么是好結(jié)果」，幫助算法明確優(yōu)化方向。
衡量指標(biāo)可以是：準(zhǔn)確率的提升，同類問題回答的一致性，用戶的滿意度，推理成本的控制等，視具體的應(yīng)用場景去調(diào)整。
第五步：上線后數(shù)據(jù)閉環(huán)與策略優(yōu)化，輸出《上線效果評估報(bào)告》，看是否達(dá)成目標(biāo)，是否需要進(jìn)一步迭代。
和前文的外掛知識庫一樣，上線后你需要監(jiān)控模型微調(diào)后的核心指標(biāo)變化，比如模型的調(diào)用次數(shù)、回答的準(zhǔn)確率、用戶的滿意度等，并及時(shí)分析失敗case，看是否存在一些意圖識別錯(cuò)誤、回答內(nèi)容偏移的問題。
不同之處在于，模型微調(diào)的成本更高（研發(fā)投入+算力），以至于你必須把評估ROI納入到每次微調(diào)的復(fù)盤工作中，去甄別微調(diào)帶來的滿意度提升是否匹配訓(xùn)練+推理的成本投入。
3.小結(jié)
現(xiàn)階段市面上所謂“AI產(chǎn)品經(jīng)理”，很多其實(shí)只是用過API的“偽AI產(chǎn)品經(jīng)理”，而真正能從“業(yè)務(wù)需求→模型能力→場景設(shè)計(jì)→效果評估與優(yōu)化”的AI產(chǎn)品經(jīng)理鳳毛麟角。
傳統(tǒng)產(chǎn)品經(jīng)理大多分外關(guān)注用戶體驗(yàn)路徑和產(chǎn)品功能形態(tài)的落地，這無可厚非。但除此之外，AI產(chǎn)品經(jīng)理更要重視技術(shù)上下游（算法、數(shù)據(jù)、工程團(tuán)隊(duì)）的協(xié)作，需重點(diǎn)考慮將能力調(diào)優(yōu)和外圍工程融入產(chǎn)品設(shè)計(jì)，并通過策略制定實(shí)現(xiàn)產(chǎn)品價(jià)值的最大化。
產(chǎn)品策略是方向盤，決定我們做對的事；用戶體驗(yàn)是油門和剎車，決定我們把事做對。二者互為配合和牽制：向左走，你需要理解模型的能力邊界、業(yè)務(wù)目標(biāo)和反饋機(jī)制；向右走，你需要深入用戶行為背后的動(dòng)機(jī)，構(gòu)建良好的交互體驗(yàn)和輸出信任。
左右互搏的過程中，用戶體驗(yàn)必須服務(wù)于產(chǎn)品的策略目標(biāo)，產(chǎn)品策略也要為用戶體驗(yàn)讓路。
專欄作家
《宋詞大典》卷211(105001-105500篇)云深山易晚,雨過寺如秋
