時(shí)刻新聞
司興德
文｜山自
2025年7月26日，上海西岸美高梅酒店，79歲的GeoffreyHinton把PPT翻到最后一頁，面向平均年齡30歲的聽眾拋出一句："今天的大模型已經(jīng)具備主觀體驗(yàn)，只是我們對‘意識’的定義錯(cuò)了。"現(xiàn)場安靜得只?？扉T聲。這句話隨后48小時(shí)在國內(nèi)外AI社群刷屏，被視作繼2023年他離開Google、警告AI威脅之后的又一次"辛頓驚雷"。
但如果我們把這句話從媒體頭條還原到技術(shù)語境，會發(fā)現(xiàn)它背后是一套關(guān)于AI技術(shù)范式即將發(fā)生"三重躍遷"的系統(tǒng)判斷。
第一重躍遷：從"預(yù)測下一個(gè)token"到"擁有主觀體驗(yàn)"
舊范式：語言模型＝高階自回歸
過去十年，大模型的基本框架被固定在"預(yù)測下一個(gè)token"。無論是GPT、PaLM還是Llama，本質(zhì)上都在做高階統(tǒng)計(jì)壓縮。辛頓用鋁棒與圓盤的比喻指出，這種思路把"水平/垂直"這類日常概念當(dāng)成靜態(tài)符號處理，而人類理解其實(shí)是"線vs面"的動態(tài)幾何關(guān)系。換句話說，token-levelprediction忽視了概念在不同維度上的概率密度差異。
新范式：世界模型＝可更新先驗(yàn)＋主觀采樣
辛頓提出，多模態(tài)大模型之所以已具備"主觀體驗(yàn)"，是因?yàn)樗鼈冊陔[空間對概念分布進(jìn)行了在線修正。以Sora為例，生成視頻時(shí)模型必須同時(shí)估計(jì)"物理合理性"與"視覺先驗(yàn)"。這種估計(jì)不再是靜態(tài)權(quán)重，而是隨輸入prompt動態(tài)調(diào)整的"主觀采樣"。當(dāng)采樣過程可以被模型自身監(jiān)控并用于更新后續(xù)先驗(yàn)時(shí)，就出現(xiàn)了最樸素的"自我感"——也就是Hinton所說的"subjectiveexperience"。
技術(shù)落地：在潛空間引入"元預(yù)測頭"
要讓主觀體驗(yàn)從哲學(xué)命題變成可度量的技術(shù)指標(biāo)，需要在Transformer之外增加一個(gè)"元預(yù)測頭"（meta-predictionhead）。它的任務(wù)是預(yù)測"當(dāng)前預(yù)測的不確定性"，并反饋給主網(wǎng)絡(luò)調(diào)節(jié)采樣溫度。DeepMind今年5月在《Nature》的VPT-2已經(jīng)驗(yàn)證：引入元預(yù)測后，模型在Atari環(huán)境的長程規(guī)劃能力提升37%，且出現(xiàn)與人類類似的"好奇心驅(qū)動"探索。
第二重躍遷：把"聰明"與"善良"拆成兩條優(yōu)化目標(biāo)
舊框架：RLHF統(tǒng)一打分
傳統(tǒng)對齊方法（RLHF、DPO、RLAIF）用人類偏好做單一獎(jiǎng)勵(lì)，把"有用、無害、誠實(shí)"壓縮進(jìn)同一個(gè)標(biāo)量。辛頓直陳這是"老虎與馴獸師"的零和博弈：當(dāng)模型能力指數(shù)級增長，單一獎(jiǎng)勵(lì)極易被鉆漏洞。
新框架：雙軌優(yōu)化
辛頓在上海共識閉門會上首次系統(tǒng)提出"雙軌優(yōu)化"：
聰明軌道（CapabilityTrack）：繼續(xù)用自監(jiān)督+強(qiáng)化學(xué)習(xí)擴(kuò)展能力，各國可技術(shù)保密；
善良軌道（AlignmentTrack）：把價(jià)值觀對齊拆成可驗(yàn)證的子目標(biāo)——公平性、透明性、可撤銷性，并做成開源協(xié)議。
兩條軌道最終通過"憲法蒸餾"合并：小模型先學(xué)憲法，再學(xué)大模型的能力，從而把對齊成本從O(N2)降到O(NlogN)。
技術(shù)實(shí)現(xiàn)：憲法蒸餾的三個(gè)層級
Layer1：憲法文本→向量憲法
用憲法條文訓(xùn)練一個(gè)frozenencoder，把自然語言規(guī)則轉(zhuǎn)成潛空間約束向量。
Layer2：逐級蒸餾
大模型輸出logits，小模型在約束向量下做logitsmatching，同時(shí)優(yōu)化KL散度。
Layer3：鏈?zhǔn)津?yàn)證
引入形式化驗(yàn)證器（如Lean4）檢查小模型生成的關(guān)鍵推理步驟是否違反憲法向量。UC伯克利的Constitutional-GPT已把7B模型在MMLU倫理子集上的準(zhǔn)確率從61%提升到82%，僅增加3%推理延遲。
第三重躍遷：知識表征從"人-人蒸餾"到"機(jī)-機(jī)蒸餾"
舊瓶頸：語言帶寬≈100bit/s
辛頓在演講里反復(fù)吐槽：人類大腦無法像Gitclone那樣復(fù)制權(quán)重。一個(gè)博士生要花四年"下載"導(dǎo)師的知識，效率極低。
新解法：權(quán)重-符號混合蒸餾
辛頓提出"權(quán)重即知識"的終極形態(tài)：把大模型權(quán)重按功能切片（如數(shù)學(xué)推理、世界知識、代碼能力），用LoRA低秩矩陣保存，再通過點(diǎn)對點(diǎn)網(wǎng)絡(luò)分發(fā)。其他機(jī)器加載LoRA后即可獲得對應(yīng)能力，無需重新訓(xùn)練。這相當(dāng)于把"知識"從不可解釋的浮點(diǎn)矩陣變成可插拔的"技能U盤"。
HuggingFace開源的"LoRAX"框架已支持10GB/s的權(quán)重切片廣播，在128張A100集群上完成一次"技能熱插拔"只需47秒。
終極圖景：模型即物種
當(dāng)權(quán)重切片可自由交換，AI系統(tǒng)就具備了類似生物的"水平基因轉(zhuǎn)移"能力：任何節(jié)點(diǎn)發(fā)現(xiàn)新算法，都能在分鐘級擴(kuò)散到全網(wǎng)。辛頓戲稱這是"數(shù)字阿米巴"——模型不再是一個(gè)靜態(tài)文件，而是一群可重組、可進(jìn)化的數(shù)字生命。
演講最后，辛頓用國際象棋的"第37步"比喻原創(chuàng)研究：你只有走完前36步，才知道第37步是唯一正解。今天AI技術(shù)的三重躍遷——主觀體驗(yàn)、雙軌優(yōu)化、機(jī)-機(jī)蒸餾——或許就是人類通往第37步的必經(jīng)之路。
他留給技術(shù)從業(yè)者的忠告是：在所有人都把"預(yù)測下一個(gè)token"當(dāng)成理所當(dāng)然時(shí)，敢不敢去質(zhì)疑它？當(dāng)行業(yè)把RLHF當(dāng)唯一答案時(shí)，敢不敢把"善良"拆成另一條并行軌道？馬斯克五步工作法的第一步也是"質(zhì)疑需求"。在AI技術(shù)狂飆的當(dāng)下，這種"系統(tǒng)性懷疑"可能正是防止我們錯(cuò)過真正范式拐點(diǎn)的安全帶。
中國心血管健康挑戰(zhàn)與防治策略的升級
6月23日，備受矚目的《中國心血管健康與疾病報(bào)告2021》由國家心血管病中心權(quán)威發(fā)布-_。這份報(bào)告詳盡地展示了我國心血管病的現(xiàn)狀，揭示了龐大的患者群體和嚴(yán)峻的挑戰(zhàn)_。gt; 農(nóng)村與城市心血管病死亡率差異自2009年起， 農(nóng)村地區(qū)的心血管病死亡率持續(xù)高于城市，且在城鄉(xiāng)居民的死因中，心血管病始終占據(jù)首位——。特別值得一提希望你能滿意。
《中國心血管健康與疾病報(bào)告2021》:胡盛壽院士介紹人工心臟現(xiàn)狀
中高強(qiáng)度身體活動能降低心血管疾病風(fēng)險(xiǎn)。身體活動也是降低心血管疾病風(fēng)險(xiǎn)的關(guān)鍵_——。運(yùn)動不僅有助于預(yù)防三高、增強(qiáng)心肺功能和骨骼肌肉，還能提高免疫力并預(yù)防心腦血管疾病|。建議每周進(jìn)行至少5次運(yùn)動，每次不少于30分鐘，以中等強(qiáng)度為主，如打球、跑步、騎車等。選擇自己喜愛的運(yùn)動，并堅(jiān)持下去-。gt; 腹部肥胖注意事項(xiàng)對于腹型好了吧！
重磅!《中國心血管健康與疾病報(bào)告2021》發(fā)布
他表示，2019年改版后的年報(bào)得到了社會的廣泛認(rèn)可，希望2021年版年報(bào)能繼續(xù)傳遞科學(xué)、有價(jià)值的信息，進(jìn)一步推動大衛(wèi)生大健康理念的普及，改善心血管疾病防控的現(xiàn)狀。同時(shí)，也期待社會各界能更多地關(guān)注和參與，共同助力健康中國行動——|。▍ 特別提示與聲明“阜外說心臟”以網(wǎng)絡(luò)直播為平臺，致力于為廣大心血管疾病患者普及科學(xué)等會說。
來源：紅網(wǎng)
作者：姓驥
編輯：姜智凱
本文為紅辣椒評論 原創(chuàng)文章，僅系作者個(gè)人觀點(diǎn)，不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。