連建宏

機(jī)器之心報(bào)道

機(jī)器之心編輯部

申請(qǐng)轉(zhuǎn)發(fā)項(xiàng)目推文近一年才批準(zhǔn)？

近日，MetaCEO馬克?扎克伯格的一篇《個(gè)人超級(jí)智能》公開(kāi)信賺盡了眼球，其中不僅提到他們已經(jīng)看到了「AI系統(tǒng)自我改進(jìn)的跡象」，還表示他們將會(huì)「謹(jǐn)慎選擇開(kāi)源內(nèi)容」。

一時(shí)之間，相關(guān)的討論和爭(zhēng)議達(dá)到了又一輪小高潮。而與此同時(shí)，Meta內(nèi)部風(fēng)波暗涌。一方面為追趕AI頂級(jí)研究陣地，Meta砸下逾140億美元重注ScaleAI，并組成MetaSuperintelligenceLabs（MSL），廣攬來(lái)自O(shè)penAI、DeepMind等頂級(jí)團(tuán)隊(duì)的AI人才，提供百萬(wàn)乃至上億美元簽約金；另一方面，Meta內(nèi)部卻又被屢屢爆出存在五花八門的關(guān)于資源、人力、內(nèi)部管控等的紛爭(zhēng)，甚至還有一位名為TijmenBlankevoort的研究科學(xué)家曾發(fā)長(zhǎng)文控訴Meta內(nèi)部文化和組織失調(diào)的慘淡景象。

更多詳情可參閱我們之前的一篇報(bào)道《是的，LeCun要向28歲的AlexandrWang匯報(bào)！這是Meta新AI團(tuán)隊(duì)的一些獨(dú)家內(nèi)部消息》。

現(xiàn)在，又有更多有關(guān)Meta內(nèi)部混亂和低效的細(xì)節(jié)浮出水面。

就在扎克伯格《個(gè)人超級(jí)智能》公開(kāi)信發(fā)布幾小時(shí)后，MetaFAIR研究科學(xué)家朱澤園在一篇回復(fù)推文中無(wú)奈地表示：讓AIatMeta（@AIatMeta）這個(gè)X賬號(hào)轉(zhuǎn)發(fā)一下他的研究非常困難——「我花了近一年時(shí)間才讓他們批準(zhǔn)轉(zhuǎn)推我的項(xiàng)目」；但「轉(zhuǎn)推帶來(lái)的觸達(dá)量還不到他自己推文的10%?！?/p>

朱澤園表示：「根本不值得這么費(fèi)力?！?/p>

他還表示：「話雖如此，我理解。我的工作在Meta內(nèi)部并不被看重，所以他們自然有更重要的事情需要社交媒體推廣?！共贿^(guò)有趣的是，他還提到Meta以外的公司對(duì)他的工作更感興趣，不知道這是否暗示著我們將會(huì)看到他有新的工作動(dòng)向？

關(guān)于這條推文，機(jī)器之心向他進(jìn)行了求證。

朱澤園回應(yīng)稱，他首先非常感謝社區(qū)和粉絲一直以來(lái)幫忙推廣自己的項(xiàng)目。他解釋道，Meta關(guān)注的是如何盈利，以及大模型之間的競(jìng)賽。他的PhysicsofLanguageModels項(xiàng)目（更多介紹請(qǐng)參閱文末擴(kuò)展閱讀）從一開(kāi)始就幾乎沒(méi)有獲得Meta層面的支持與關(guān)注。

他表示，近期收到了大量同行的來(lái)信，不少AI從業(yè)者都對(duì)行業(yè)動(dòng)蕩感到焦慮?！肝蚁胩嵝汛蠹?，面對(duì)行業(yè)變化，更應(yīng)該變被動(dòng)為主動(dòng)，把握機(jī)會(huì)，不要等著公司裁員。其實(shí)現(xiàn)在正是跳槽的好時(shí)機(jī)?！?/p>

至于個(gè)人是否跳槽，朱澤園表示，自己終歸會(huì)離開(kāi)Meta，只是目前更看重手頭項(xiàng)目，需要節(jié)省時(shí)間，而跳槽時(shí)還要花時(shí)間考慮是否要帶一個(gè)團(tuán)隊(duì)、帶哪些人一起走，所以現(xiàn)在暫時(shí)不會(huì)做這件事，金錢反而不是最重要的。他強(qiáng)調(diào)，無(wú)論身處何處，都會(huì)繼續(xù)做PhysicsofLanguageModels，因?yàn)檫@是AI領(lǐng)域最基礎(chǔ)的工作。

針對(duì)Meta內(nèi)部的管理問(wèn)題，朱澤園坦言，前員工TijmenBlankevoort此前公開(kāi)的內(nèi)部文化批評(píng)「基本屬實(shí)」，而他其實(shí)還有很多補(bǔ)充，比如甚至遇到過(guò)現(xiàn)實(shí)版「農(nóng)夫與蛇」的經(jīng)歷，不過(guò)這些故事只能等離職后才能說(shuō)出來(lái)。

至于這條推文提到的「對(duì)照實(shí)驗(yàn)」，則要從朱澤園上周末發(fā)布的開(kāi)源項(xiàng)目說(shuō)起。

朱澤園在7月27日發(fā)布了PhysicsofLanguageModels項(xiàng)目的第一階段代碼，其中包含了「在42kGPU小時(shí)內(nèi)預(yù)訓(xùn)練強(qiáng)大8B基礎(chǔ)模型所需的全部?jī)?nèi)容」，包括數(shù)據(jù)、訓(xùn)練代碼和模型權(quán)重，可以說(shuō)是真正的開(kāi)源。并且「可以用不超過(guò)10%的訓(xùn)練資源打敗Llama3-8B」

項(xiàng)目地址：https://github.com/facebookresearch/PhysicsLM4

然而，該項(xiàng)目開(kāi)源發(fā)布一段時(shí)間，朱澤園卻疑惑地發(fā)現(xiàn)項(xiàng)目關(guān)注度不高。這讓他不禁發(fā)出了痛心一問(wèn)：「完全開(kāi)源的研究真有必要嗎？」他還問(wèn)道：「我是否應(yīng)該選擇閉源以節(jié)省時(shí)間并專注于純粹的研究？」

而這條推文的關(guān)注熱度就高多了，也有很多業(yè)內(nèi)人士參與討論互動(dòng)。

比如HuggingFaceCEOClementDelangue表示開(kāi)源是推動(dòng)AI領(lǐng)域發(fā)展的正確做法，可以使其更加開(kāi)放、協(xié)作和安全！

斯坦福大學(xué)應(yīng)用物理學(xué)副教授SuryaGanguli更是表示「不開(kāi)源就不能稱之為研究」。

當(dāng)然，也有人表示某些開(kāi)源確實(shí)浪費(fèi)時(shí)間，比如前段時(shí)間被Meta挖走的前OpenAI和DeepMind研究者LucasBeyer表示bigco項(xiàng)目的開(kāi)源就浪費(fèi)了很多時(shí)間，不過(guò)他也指出了值得開(kāi)源的三種情況。

當(dāng)然，除了開(kāi)源以及對(duì)X推薦機(jī)制的討論，朱澤園的這條推文也引出了更多關(guān)于Meta的討論。

比如網(wǎng)友@papers_anon表示「FAIR在傳播其團(tuán)隊(duì)的有趣研究方面做得很差」——FAIR似乎完全仰賴研究者使用自己的個(gè)人X帳號(hào)來(lái)宣傳，而同時(shí)FAIR又不直接為每位研究者購(gòu)買XPremium+來(lái)推廣研究成果，也沒(méi)有一個(gè)真正專注于研究成果展示的X賬戶來(lái)發(fā)布內(nèi)容。他總結(jié)說(shuō)：「FAIR似乎受到了太多內(nèi)部政策的束縛，甚至無(wú)法以無(wú)痛的方式促進(jìn)開(kāi)放研究。」

另外，朱澤園自己也指出了關(guān)注度可能與研究資源掛鉤的現(xiàn)實(shí)，而這就不得不迫使研究者在X上場(chǎng)搞宣傳，而他也正需要為這項(xiàng)研究的第二、三階段爭(zhēng)取到GPU。

他也吐嘈了Meta內(nèi)部的審核批準(zhǔn)流程：僅僅是獲得公共數(shù)據(jù)集的使用批準(zhǔn)并發(fā)布權(quán)重就需要浪費(fèi)兩個(gè)多月的時(shí)間（這還不包括科研本身），「而且情況只會(huì)越來(lái)越糟。如果一個(gè)數(shù)據(jù)條目未獲得批準(zhǔn)，你的整個(gè)模型都可能被推翻重新訓(xùn)練。而哪里有這么多資源呢？」

他還提到，光是為了讓PhysicsofLanguageModels這個(gè)項(xiàng)目以Apache2.0協(xié)議開(kāi)源，他就與Meta的法務(wù)部門溝通了超過(guò)一周。如果發(fā)布的模型過(guò)于強(qiáng)大，還會(huì)出更多問(wèn)題。

當(dāng)被問(wèn)到為什么Meta說(shuō)不開(kāi)源了，同時(shí)還允許該項(xiàng)目發(fā)布時(shí)（另外這兩天還開(kāi)源了MetaCLIP2和VGGT），朱澤園風(fēng)趣地說(shuō)：「這兩者可能都是真的。如今，不確定性極大，一切都可能在一夜之間發(fā)生改變，也許我們?cè)谶M(jìn)行最后一輪開(kāi)源。」

https://x.com/papers_anon/status/1950672022134247579

https://x.com/ZeyuanAllenZhu/status/1950718378353811730

“男孩窮養(yǎng),女孩富養(yǎng)”?不,遇見(jiàn)這種情況,父母可能會(huì)后悔?？90育兒

反復(fù)閱讀的優(yōu)選圖書(shū)《男孩窮養(yǎng)女孩富養(yǎng)大全集》,干貨超多收獲美好...

為什么男孩兒要窮養(yǎng)、女孩兒要富養(yǎng)