P1-13電影版你體內明明關押著幾百頭兇獸，卻始終無法覺醒獸魂之力成為御獸師
AntResearchNLP團隊投稿量子位|公眾號QbitAI
相信大家都有這樣一個體驗。
跟AI無論什么對話，感覺都是說空話套話。
有時候為了讓AI懂自己，許多用戶甚至不得不學習復雜的“提示詞技巧”，手動編寫長長的指令，像是在給AI做“崗前培訓”。
那么如何實現(xiàn)高情商AI？螞蟻通用人工智能研究中心自然語言處理實驗室提出了一個叫AlignXplore的方法——
通過強化學習，AlignXplore能夠通過深度思考從用戶行為中歸納出他/她的偏好，并且這種對人類偏好的洞察可以隨著用戶行為的變化而動態(tài)更新。
更有趣的是，當把歸納好的偏好描述遷移到一個下游對齊模型時，能夠讓這個模型的個性化對齊能力得到顯著提升。
如何讓AI真正懂你？
如何讓AI真正“懂”你？我們需要讓AI從一個“規(guī)則執(zhí)行者”進化成一個“模式發(fā)現(xiàn)者”。
這意味著，它要掌握一種被認為是人類智慧核心的能力——歸納推理（InductiveReasoning）。
△“千人一面”的對齊方式無法滿足用戶多樣的個性化需求，紅字藍
事實上，AI早已對演繹推理（DeductiveReasoning）駕輕就熟，具備令人驚嘆的數(shù)學解題和代碼編寫能力。
你給它一個確定的前提（如“求解二次方程ax2+bx+c=0”）和一套不變的規(guī)則（求根公式），它就能通過一步步嚴密的邏輯推演，給出一個唯一、可驗證的正確答案。這是一個典型的“自上而下”（Top-Down）的過程：從普適的公理或規(guī)則出發(fā)，推導出一個具體的、必然的結論。在這個世界里，沒有模糊地帶，只有對與錯。
而歸納推理則完全相反，它是一個自下而上（Bottom-Up）的過程：它沒有預設的“個人說明書”。它的“線索”就是你的每一個行為：你追問了什么問題，說明你關心什么；你跳過了哪個回答，說明你不喜歡什么風格；你對哪個笑話點了贊，暴露了你的幽默感。它的“任務”就是從這些海量的、碎片化的行為數(shù)據(jù)中，提煉出專屬于你的互動模式與偏好規(guī)律。通過歸納推理，AI有潛力成為你的“知心姐姐”，主動拼湊出一個完整的你。
舉個例子，讓我們來扮演一次AI知心姐姐，看看它是如何通過兩次看似無關的對話，就精準捕捉到你的“潛臺詞”的：
第一次交互：你問“什么是人工智能？它在商業(yè)和生活中是怎么用的？”。AI會立刻開始在幕后推理你的偏好：“你可能對AI技術有特別的興趣，但似乎更關心實際應用，也許是商業(yè)導向”。第二次交互：你想學習冥想，在兩個候選回答中，你選擇了提供具體步驟的那個，而不是闡述冥想哲學的回答。AI會立刻更新它對你偏好的理解：“你的偏好是獲取能解決眼前需求的、務實的指導，而不是理論探討?！?/p>
這種漸進式的學習和優(yōu)化，讓AI的“記憶”不再短暫。隨著一次次的交互，它會不斷收集新的線索，驗證并修正之前的假設，對你的“人物畫像”進行一次又一次的精修。最終，它不再是被動回答問題的機器，而是在主動地、持續(xù)地學習和理解你是誰。
這，就是我們通向真正個性化AI的第一步。
AlignXplore
AlignXplore的訓練包括兩個階段。
第一階段：冷啟動訓練（Cold-startTraining）——拜師學藝
研究團隊首先引入一個更強大的AI作為“導師模型”
。這個導師會生成大量高質量的“教學案例”。對于每個用戶的行為信號集合
會生成多組候選的推理鏈r和相應的偏好描述d利用獎勵函數(shù)R（r，d）進行篩選來獲取高質量數(shù)據(jù)
。通過在
上進行SFT，實現(xiàn)偏好歸納模型的冷啟動。
其中
代表可能存在的歷史偏好，而G是為每個實例生成的候選樣本數(shù)量。這里獎勵函數(shù)定義為：
其中，
是下游大語言模型R對回復的偏好打分函數(shù)。這個通用的獎勵框架可以被實例化為兩種具體的獎勵函數(shù)，用于模型的訓練與評估：
1、
（基于偏好判斷的獎勵）
R作為一個偏好判斷模型，直接評估在給定推斷出的偏好d后“
更好”的概率，最大化與用戶真實偏好的一致性：
提供了更穩(wěn)定和有效的訓練信號，是AlignXplore在訓練和評估中采用的核心獎勵函數(shù)。
2、
（基于生成概率的獎勵）
R作為一個回復生成模型，衡量在加入偏好描述d前后，模型生成較優(yōu)回復
與生成較差回復
間的對數(shù)概率差值是否有提升：
第二階段：強化學習（ReinforcementLearning）——實戰(zhàn)修行
在這一階段，采用GRPO算法訓練，模型會針對用戶的行為，嘗試生成多種不同的推理路徑和偏好結論
。隨后，系統(tǒng)會根據(jù)這些結論的準確性給予“獎勵”或“懲罰”。通過這種不斷的試錯和優(yōu)化，模型學會了如何將初步的分析提煉成更精準、更具指導性的判斷。
優(yōu)化策略定義如下：
流式偏好推斷機制
AlignXplore模型支持流式偏好推斷機制，即不再需要反復回看用戶冗長的歷史記錄，而是像處理一條源源不斷的數(shù)據(jù)流一樣，實時、增量地更新對用戶的理解——就像它在之前的例子中發(fā)現(xiàn)用戶“務實導向”的風格一樣。
這種“流式”設計帶來的好處是顯而易見的：
首先，它大大提高了生成效率；
其次，它極為靈活，當用戶從休閑模式切換到工作狀態(tài)時，它能迅速迭代出一個新的“工作版”偏好，而不是固執(zhí)地用舊眼光看用戶。這才是真正能跟上用戶節(jié)奏的動態(tài)進化系統(tǒng)。
實驗結果
在域內測試集AlignX_test和域外測試集P-Soups上，AlignXplore模型在個性化對齊任務上取得了顯著的成功，相較于基座模型DeepSeek-R1-Distill-Qwen-7B平均提升了15.49%。
△AlignXplore與各種推理/非推理模型在域內外數(shù)據(jù)集上的表現(xiàn)
更重要的是，它展現(xiàn)了強大的綜合能力：
高效性：即使互動歷史變得非常長，流式推理機制也能保持穩(wěn)定的響應速度和準確率，不會像傳統(tǒng)方法那樣需要每次編碼所有行為信號致使越來越慢。
△隨著互動的進行，流式推理機制下的響應速度和準確率都保持穩(wěn)定
泛化能力：它不僅能處理特定的反饋數(shù)據(jù)，還能從用戶發(fā)布的帖子user-generatedcontent(UGC)等不同形式的內容中學習，并且其推斷出的偏好也能成功地應用于與訓練時不同的下游模型，包括QwQ-32B、DeepSeek-R1-671B等。
△泛化性實驗
魯棒性：即使用戶的偏好發(fā)生改變甚至反轉，AlignXplore也能靈活適應，不會產生劇烈的效果波動。
△即便反轉初始行為信號的偏好，流式推理機制也能讓模型靈活調整
總結
該工作第一作者為人大高瓴一年級博士生李嘉楠，目前在螞蟻實習；螞蟻通用人工智能研究中心自然語言處理實驗室關健、武威為共同第一作者、通訊作者。
AlignXplore是大模型個性化路上的一個全新的嘗試。在SOTA結果的背后，這項研究其實有很多思考：
在智力上限被一波又一波推高的當下，如何規(guī)?；柧毚竽Ｐ汀扒樯獭笔且粋€沒有得到足夠關注卻又十分重要的問題。畢竟誰會拒絕一個既聰明又有溫度的AI呢？深度思考下的長思維鏈是大模型智能能力的主要推動力。深度思考本身消耗巨大，那么如果只用來刷分，是不是有點浪費呢？相比于結果，推理過程中產生的知識是不是更有價值呢？AlignXplore可以看作是推理知識在用戶理解領域進行遷移應用的一個嘗試。畢竟相對于艱深的數(shù)學知識，用戶理解知識更容易被看懂，也更容易落地。如果客觀問題都很快會被AI解決，那么主觀問題該怎么辦呢？這個世界上到底是客觀問題多還是主觀問題多呢？無論如何，研究團隊認為個性化是通往主觀世界的一條重要通道，而AlignXplore是在這條通道上的一次大膽嘗試。期待未來有更多相關研究能夠涌現(xiàn)。
—完—
斯坦暑假研學 國寶守護者大熊貓科考夏令營,領取3張證書和報告
“護豚有方”!廈門這群人組成了一支“海上大熊貓”守護者聯(lián)盟
國家公園守護者|野生大熊貓攝影師,鏡頭之外的故事
