機(jī)器之心報(bào)道
+0、張倩
最近整個(gè)AI圈的目光似乎都集中在GPT-5上，相關(guān)爆料滿天飛，但模型遲遲不見(jiàn)蹤影。
昨天我們報(bào)道了TheInformation扒出的GPT-5長(zhǎng)文內(nèi)幕，今天奧特曼似乎也坐不住，發(fā)了推文表示「驚喜很多，值得等待」。
那么，在等待的過(guò)程中，我們來(lái)看看這次GPT-5的「疑似王牌」之一：通用驗(yàn)證器（universalverifier）。
據(jù)知情人士透露，OpenAI一直在開(kāi)發(fā)一種研究人員稱之為「通用驗(yàn)證器」的東西，這個(gè)東西可能是GPT-5中用到的重要技術(shù)。
這個(gè)概念源于OpenAI去年發(fā)表的一篇論文。它解決的問(wèn)題是：當(dāng)LLM僅優(yōu)化答案正確性時(shí)，其推理過(guò)程（如Chain-of-Thought）變得難以被人類或小型模型理解和驗(yàn)證，導(dǎo)致「可解釋性」下降。但在高風(fēng)險(xiǎn)應(yīng)用中，用戶需要能快速、準(zhǔn)確判斷模型輸出是否正確，而不僅是輸出答案本身。
為此，該論文提出了一套已準(zhǔn)備好投入生產(chǎn)的技術(shù)管線，其核心在于：讓一個(gè)「驗(yàn)證者」小模型來(lái)為「證明者」大模型的推理鏈打分，并將其作為獎(jiǎng)勵(lì)信號(hào)反饋給大模型進(jìn)行策略更新。
論文標(biāo)題：Prover-VerifierGamesimprovelegibilityofLLMoutputs論文地址：https://arxiv.org/pdf/2407.13692
論文明確指出，這個(gè)驗(yàn)證者模型足夠小，可以進(jìn)行大規(guī)模部署，并且是「為未來(lái)的GPT部署而設(shè)計(jì)」的。
你可以把它想象成一個(gè)模型里住著兩個(gè)「人格」，它們?cè)谶M(jìn)行一場(chǎng)持續(xù)的「左右腦互搏」游戲：
「證明者」人格（Prover）：它扮演著一個(gè)積極解決問(wèn)題的角色。在完成一道題后，它會(huì)盡力生成詳細(xì)的推理過(guò)程，以說(shuō)服那個(gè)輕量級(jí)的「驗(yàn)證者」網(wǎng)絡(luò)，證明自己的答案是正確且可靠的?！钙垓_者」人格（SneakyPersona）：它會(huì)故意在推理中植入錯(cuò)誤的結(jié)論，但表面上依然會(huì)偽裝得邏輯嚴(yán)密，目標(biāo)是試圖騙過(guò)同一個(gè)「驗(yàn)證者」。
聽(tīng)起來(lái)是不是很像GAN（生成對(duì)抗網(wǎng)絡(luò)）？
通過(guò)讓大模型在這兩個(gè)角色之間不斷交替，它既能學(xué)會(huì)寫出邏輯更嚴(yán)謹(jǐn)、更難被偽造的解決方案，同時(shí)，那個(gè)小規(guī)模的「驗(yàn)證者」模型在反復(fù)的「欺騙」與「驗(yàn)證」中，其識(shí)別錯(cuò)誤、標(biāo)記漏洞的能力也變得越來(lái)越敏銳。這樣做的好處在于，即使未來(lái)模型遠(yuǎn)超人類能力，只要其輸出能被「較弱但可信」的模型驗(yàn)證，就能保持人類對(duì)其的控制與信任。
論文提出的訓(xùn)練方法能讓模型逐漸學(xué)會(huì)產(chǎn)生清晰且結(jié)構(gòu)良好的答案。
去年8月《連線》雜志的一篇文章披露，OpenAI在微調(diào)GPT-4的代碼助手時(shí)，就已經(jīng)用基于模型的「批評(píng)家」在部分場(chǎng)景替代了人類反饋。
文章特別指出，該系統(tǒng)「將被整合到未來(lái)主流模型的RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）流程中」。
有人評(píng)論說(shuō)，「證明者-驗(yàn)證者」訓(xùn)練方法不僅僅是一個(gè)小優(yōu)化，它可能代表了AI發(fā)展的下一個(gè)時(shí)代。我們正在從一個(gè)依賴海量數(shù)據(jù)、靠「堆料」來(lái)提升性能的「scaling時(shí)代」，轉(zhuǎn)向一個(gè)通過(guò)設(shè)計(jì)更智能的內(nèi)部學(xué)習(xí)機(jī)制、讓AI自我完善和進(jìn)化的「架構(gòu)突破」時(shí)代。這或許是我們突破當(dāng)前數(shù)據(jù)瓶頸、實(shí)現(xiàn)更高級(jí)別通用人工智能的關(guān)鍵路徑。
值得一提的是，這篇論文來(lái)自O(shè)penAI的超級(jí)對(duì)齊團(tuán)隊(duì)。在論文發(fā)布時(shí)，團(tuán)隊(duì)就已經(jīng)分崩離析。去年，機(jī)器之心詳細(xì)報(bào)道過(guò)這篇論文（參見(jiàn)《OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)遺作：兩個(gè)大模型博弈一番，輸出更好懂了》），感興趣的讀者可以重溫一下。
論文之外，GPT-5模型也有了一些新消息。
今天一大早，某博主發(fā)現(xiàn)Perplexity有漏洞訪問(wèn)GPT-5，并且有GPT-5和5Pro兩個(gè)版本，限時(shí)4小時(shí)。
他展示了自己用GPT-5生成的小黃人，動(dòng)態(tài)效果看起來(lái)很絲滑。
他還做了一個(gè)類似Doom（FPS游戲）的游戲片段，看起來(lái)也非常還原。
網(wǎng)友紛紛表示「震驚」，認(rèn)為這可能是AI生成的「新時(shí)代」。
無(wú)論如何，大家對(duì)GPT-5的期待已經(jīng)拉滿了！
你覺(jué)得GPT-5會(huì)是個(gè)什么樣子？
參考鏈接：
https://x.com/rohanpaul_ai/status/1951400750187209181
https://x.com/chetaslua/status/1951758235272401030
推薦關(guān)于挫折的作文
那天早上我在高速上開(kāi)車，忽然聽(tīng)到收音機(jī)傳出鄧麗君的《如果我是真的》_。那如泣如訴的歌聲，竟讓我瞬間淚流滿面|。假如流水能回頭，請(qǐng)你帶我走|_。假如流水能接受，不再煩憂|_。有人羨慕你自由自在地流，我愿變做你到處任意游呀游_。假如流水換成我也要淚兒流。假如我是清流水，我也不回頭-|。這歌詞唱的，不就是姐有幫助請(qǐng)點(diǎn)贊_——。
四年級(jí)困難作文「精心整理」
我認(rèn)為，我現(xiàn)在能輕松駕馭我遇見(jiàn)的一切，那是因?yàn)?，我曾?jīng)的課題太大-。沒(méi)有在暗夜里哭泣的人，不足以語(yǔ)人生。我在無(wú)數(shù)個(gè)暗夜里哭泣，甚至我在剛懷上二姑娘時(shí)一個(gè)星期沒(méi)太睡覺(jué)，通宵不睡。因?yàn)槟峭蝗缙鋪?lái)的超越自己能力的障礙的折磨，我無(wú)法睡著。二姑娘從小難帶，種種挑戰(zhàn)，我認(rèn)為那也是那些困難里生出來(lái)的困難是什么。
關(guān)于人生的作文合集
后來(lái)?yè)Q了一個(gè)電話打，接通了電話里的小姐姐聲音真的很溫柔，聽(tīng)到她的聲音我哭得說(shuō)不出來(lái)話，她問(wèn)我為什么哭呢，我說(shuō)我也不知道，我的家庭很幸福，工作同事都很照顧我，和朋友相處也很好，我的人生好像沒(méi)有值得我難過(guò)的事情，但我還是難受。到底是從什么時(shí)候開(kāi)始的，我對(duì)身邊所有人都沒(méi)有感情了|。談了4年的男希望你能滿意。
延伸閱讀：與 榜一大哥發(fā)：函要求歸還80{萬(wàn)打，賞直}言希望她坐牢 的相關(guān)文章
俄莫斯科音樂(lè)廳恐襲案有8人部分認(rèn)罪
原來(lái)還有迪麗冷巴
人民日?qǐng)?bào)專訪浪浪山小妖怪主創(chuàng)
為啥現(xiàn)在國(guó)道修的很好，大家還是優(yōu)選高速通行？
狂騙中國(guó)家長(zhǎng)700億，這些反游戲機(jī)構(gòu)有多瘋狂？我扒出了更多恐怖真相！
《天道》中第一次請(qǐng)吃飯，芮小丹和歐陽(yáng)雪為什么刁難丁元英？
歌手晉級(jí)
你的城市有哪些代表性美食，或者提到這種美食就想到你的城市？
徐州“寶馬MINI致1死7傷案”一審：肇事司機(jī)獲刑兩年八個(gè)月
【花小烙】不小心投胎成了一頭雄獅，你會(huì)過(guò)上什么樣的獅生？
