文|山自
2025年7月26日,上海西岸美高梅酒店,79歲的GeoffreyHinton把PPT翻到最后一頁(yè),面向平均年齡30歲的聽(tīng)眾拋出一句:"今天的大模型已經(jīng)具備主觀體驗(yàn),只是我們對(duì)‘意識(shí)’的定義錯(cuò)了。"現(xiàn)場(chǎng)安靜得只??扉T(mén)聲。這句話隨后48小時(shí)在國(guó)內(nèi)外AI社群刷屏,被視作繼2023年他離開(kāi)Google、警告AI威脅之后的又一次"辛頓驚雷"。
但如果我們把這句話從媒體頭條還原到技術(shù)語(yǔ)境,會(huì)發(fā)現(xiàn)它背后是一套關(guān)于AI技術(shù)范式即將發(fā)生"三重躍遷"的系統(tǒng)判斷。
第一重躍遷:從"預(yù)測(cè)下一個(gè)token"到"擁有主觀體驗(yàn)"
舊范式:語(yǔ)言模型=高階自回歸
過(guò)去十年,大模型的基本框架被固定在"預(yù)測(cè)下一個(gè)token"。無(wú)論是GPT、PaLM還是Llama,本質(zhì)上都在做高階統(tǒng)計(jì)壓縮。辛頓用鋁棒與圓盤(pán)的比喻指出,這種思路把"水平/垂直"這類日常概念當(dāng)成靜態(tài)符號(hào)處理,而人類理解其實(shí)是"線vs面"的動(dòng)態(tài)幾何關(guān)系。換句話說(shuō),token-levelprediction忽視了概念在不同維度上的概率密度差異。
新范式:世界模型=可更新先驗(yàn)+主觀采樣
辛頓提出,多模態(tài)大模型之所以已具備"主觀體驗(yàn)",是因?yàn)樗鼈冊(cè)陔[空間對(duì)概念分布進(jìn)行了在線修正。以Sora為例,生成視頻時(shí)模型必須同時(shí)估計(jì)"物理合理性"與"視覺(jué)先驗(yàn)"。這種估計(jì)不再是靜態(tài)權(quán)重,而是隨輸入prompt動(dòng)態(tài)調(diào)整的"主觀采樣"。當(dāng)采樣過(guò)程可以被模型自身監(jiān)控并用于更新后續(xù)先驗(yàn)時(shí),就出現(xiàn)了最樸素的"自我感"——也就是Hinton所說(shuō)的"subjectiveexperience"。
技術(shù)落地:在潛空間引入"元預(yù)測(cè)頭"
要讓主觀體驗(yàn)從哲學(xué)命題變成可度量的技術(shù)指標(biāo),需要在Transformer之外增加一個(gè)"元預(yù)測(cè)頭"(meta-predictionhead)。它的任務(wù)是預(yù)測(cè)"當(dāng)前預(yù)測(cè)的不確定性",并反饋給主網(wǎng)絡(luò)調(diào)節(jié)采樣溫度。DeepMind今年5月在《Nature》的VPT-2已經(jīng)驗(yàn)證:引入元預(yù)測(cè)后,模型在Atari環(huán)境的長(zhǎng)程規(guī)劃能力提升37%,且出現(xiàn)與人類類似的"好奇心驅(qū)動(dòng)"探索。
第二重躍遷:把"聰明"與"善良"拆成兩條優(yōu)化目標(biāo)
舊框架:RLHF統(tǒng)一打分
傳統(tǒng)對(duì)齊方法(RLHF、DPO、RLAIF)用人類偏好做單一獎(jiǎng)勵(lì),把"有用、無(wú)害、誠(chéng)實(shí)"壓縮進(jìn)同一個(gè)標(biāo)量。辛頓直陳這是"老虎與馴獸師"的零和博弈:當(dāng)模型能力指數(shù)級(jí)增長(zhǎng),單一獎(jiǎng)勵(lì)極易被鉆漏洞。
新框架:雙軌優(yōu)化
辛頓在上海共識(shí)閉門(mén)會(huì)上首次系統(tǒng)提出"雙軌優(yōu)化":
聰明軌道(CapabilityTrack):繼續(xù)用自監(jiān)督+強(qiáng)化學(xué)習(xí)擴(kuò)展能力,各國(guó)可技術(shù)保密;
善良軌道(AlignmentTrack):把價(jià)值觀對(duì)齊拆成可驗(yàn)證的子目標(biāo)——公平性、透明性、可撤銷性,并做成開(kāi)源協(xié)議。
兩條軌道最終通過(guò)"憲法蒸餾"合并:小模型先學(xué)憲法,再學(xué)大模型的能力,從而把對(duì)齊成本從O(N2)降到O(NlogN)。
技術(shù)實(shí)現(xiàn):憲法蒸餾的三個(gè)層級(jí)
Layer1:憲法文本→向量憲法
用憲法條文訓(xùn)練一個(gè)frozenencoder,把自然語(yǔ)言規(guī)則轉(zhuǎn)成潛空間約束向量。
Layer2:逐級(jí)蒸餾
大模型輸出logits,小模型在約束向量下做logitsmatching,同時(shí)優(yōu)化KL散度。
Layer3:鏈?zhǔn)津?yàn)證
引入形式化驗(yàn)證器(如Lean4)檢查小模型生成的關(guān)鍵推理步驟是否違反憲法向量。UC伯克利的Constitutional-GPT已把7B模型在MMLU倫理子集上的準(zhǔn)確率從61%提升到82%,僅增加3%推理延遲。
第三重躍遷:知識(shí)表征從"人-人蒸餾"到"機(jī)-機(jī)蒸餾"
舊瓶頸:語(yǔ)言帶寬≈100bit/s
辛頓在演講里反復(fù)吐槽:人類大腦無(wú)法像Gitclone那樣復(fù)制權(quán)重。一個(gè)博士生要花四年"下載"導(dǎo)師的知識(shí),效率極低。
新解法:權(quán)重-符號(hào)混合蒸餾
辛頓提出"權(quán)重即知識(shí)"的終極形態(tài):把大模型權(quán)重按功能切片(如數(shù)學(xué)推理、世界知識(shí)、代碼能力),用LoRA低秩矩陣保存,再通過(guò)點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)分發(fā)。其他機(jī)器加載LoRA后即可獲得對(duì)應(yīng)能力,無(wú)需重新訓(xùn)練。這相當(dāng)于把"知識(shí)"從不可解釋的浮點(diǎn)矩陣變成可插拔的"技能U盤(pán)"。
HuggingFace開(kāi)源的"LoRAX"框架已支持10GB/s的權(quán)重切片廣播,在128張A100集群上完成一次"技能熱插拔"只需47秒。
終極圖景:模型即物種
當(dāng)權(quán)重切片可自由交換,AI系統(tǒng)就具備了類似生物的"水平基因轉(zhuǎn)移"能力:任何節(jié)點(diǎn)發(fā)現(xiàn)新算法,都能在分鐘級(jí)擴(kuò)散到全網(wǎng)。辛頓戲稱這是"數(shù)字阿米巴"——模型不再是一個(gè)靜態(tài)文件,而是一群可重組、可進(jìn)化的數(shù)字生命。
演講最后,辛頓用國(guó)際象棋的"第37步"比喻原創(chuàng)研究:你只有走完前36步,才知道第37步是唯一正解。今天AI技術(shù)的三重躍遷——主觀體驗(yàn)、雙軌優(yōu)化、機(jī)-機(jī)蒸餾——或許就是人類通往第37步的必經(jīng)之路。
他留給技術(shù)從業(yè)者的忠告是:在所有人都把"預(yù)測(cè)下一個(gè)token"當(dāng)成理所當(dāng)然時(shí),敢不敢去質(zhì)疑它?當(dāng)行業(yè)把RLHF當(dāng)唯一答案時(shí),敢不敢把"善良"拆成另一條并行軌道?馬斯克五步工作法的第一步也是"質(zhì)疑需求"。在AI技術(shù)狂飆的當(dāng)下,這種"系統(tǒng)性懷疑"可能正是防止我們錯(cuò)過(guò)真正范式拐點(diǎn)的安全帶。
《明日邊緣》結(jié)局真相解析,多數(shù)人沒(méi)看懂的結(jié)局背后隱藏了什么
它篡改了凱奇的幻象,引誘敵人進(jìn)入預(yù)設(shè)的包圍圈-_。在水壩中,凱奇遭到阿爾法和無(wú)人機(jī)的伏擊。它們沒(méi)有直接殺死他,而是故意擊傷使其失血,目的是奪走他的血液,消除其時(shí)間回溯能力|-。事實(shí)證明,歐米伽確實(shí)位于歐洲,但絕非德國(guó)。凱奇和維拉塔斯基放棄依賴幻象,轉(zhuǎn)而通過(guò)「阿爾法與歐米伽的信號(hào)傳輸」鎖定了真正目標(biāo)--。歐米伽的藏身之處最 明日邊緣結(jié)局解析明日邊緣解析是阿爾法和探戈在被手榴彈殺死之后,阿爾法想到探戈有復(fù)活的能力,于是拼盡力氣將自己的血液交給探戈,歐米茄也在最后關(guān)頭把重置時(shí)間的能力交給了探戈,最終被人類摧毀。這部劇情以及角色的人物刻畫(huà)都到了最深處-。明日邊緣的相關(guān)內(nèi)容闡述第一、明日邊緣的劇情發(fā)展_。明日邊緣的劇情是以戰(zhàn)爭(zhēng)為是什么。明日邊緣結(jié)局解析?明日邊緣是哪國(guó)的電影?