Video-TT團(tuán)隊投稿量子位|公眾號QbitAI
視頻大型語言模型（VideoLLMs）的發(fā)展日新月異，它們似乎能夠精準(zhǔn)描述視頻內(nèi)容、準(zhǔn)確的回答相關(guān)問題，展現(xiàn)出足以亂真的人類級理解力。
但有一個非常本質(zhì)的問題始終縈繞著研究者的心頭：這些模型是真的“理解”了視頻，還是僅僅在進(jìn)行一種高級的“模式匹配”？
為了解決上述問題，來自南洋理工大學(xué)S-Lab的研究者們提出了一個全新的、極具挑戰(zhàn)性的基準(zhǔn)測試——VideoThinkingTest（簡稱Video-TT）。
其核心目標(biāo)簡單而深刻：將“看”與“想”的能力分離，精準(zhǔn)測量AI在視頻內(nèi)容上的真實理解和推理水平。
研究團(tuán)隊有三項關(guān)鍵發(fā)現(xiàn)：
（1）人類在視頻理解的“準(zhǔn)確率”和“魯棒性”上遠(yuǎn)超SOTA級模型（50%），差距顯著。
（2）開源模型在“魯棒性”上遠(yuǎn)遜GPT-4o（SOTA模型之一）。
（3）GPT-4o的短板在于：對模糊或非常規(guī)內(nèi)容識別能力弱；對多場景區(qū)分、定位、計算能力有困難；世界知識對應(yīng)能力欠缺，無法理解意圖、社會動態(tài)等深層信息。
Video-TT圖靈測試集由南洋理工大學(xué)S-Lab科研團(tuán)隊聯(lián)合獨立研究員共同研發(fā)完成。主要作者包括南洋理工大學(xué)博士生張元瀚、董宇昊，二人的研究方向聚焦多模態(tài)模型；通訊作者為南洋理工大學(xué)助理教授劉子緯。
Video-TT的問題定位
人類的智慧核心在于其正確性（Correctness）和魯棒性（Robustness）。
正確性意味著我們能準(zhǔn)確地解讀信息，而魯棒性則保證了我們在面對信息干擾、歧義或不同表述時，依然能保持正確的判斷。這兩者結(jié)合，才構(gòu)成了真正可靠的理解能力。
現(xiàn)有的視頻理解基準(zhǔn)測試（Benchmark）在衡量AI是否達(dá)到人類級智慧上存在著一些根本性的缺陷。它們往往無法區(qū)分模型是因為“沒看清”而犯錯（即關(guān)鍵視頻幀采樣不足），還是因為“沒想明白”而出錯（即缺乏真正的推理能力）。
這種混淆使得我們很難評估AI在視頻理解上的真實水平。
在Video-TT出現(xiàn)之前，視頻理解領(lǐng)域已有相應(yīng)的評測標(biāo)準(zhǔn)，但這些標(biāo)準(zhǔn)普遍存在一定局限性，導(dǎo)致AI的真實能力無法被準(zhǔn)確衡量。
問題一：長視頻評測的“幀采樣悖論”
近期，許多研究都聚焦于長視頻理解。然而由于計算資源限制，模型無法處理視頻的每一幀，只能“跳著看”（稀疏采樣）。
這就帶來一個問題：當(dāng)模型答錯時，我們無法確定是它能力不行，還是運氣不好，恰好錯過了包含答案的關(guān)鍵幀。
如下圖所示，在一些長視頻評測中（如VideoMME-Long），即便是強大的GPT-4o，其性能也可能因為采樣幀數(shù)的限制而大幅下降。這種下降反映的更多是“采樣策略”的失敗，而非“理解能力”的不足。
問題二：短視頻評測的“天花板幻覺”
與長視頻相對，短視頻評測（如VideoMME-Short）由于時長較短，模型可以幾乎“看完”所有幀。在這種情況下，一些頂尖模型的表現(xiàn)接近甚至達(dá)到了人類水平（上圖左側(cè)），這容易給人一種“短視頻理解問題已被基本解決”的錯覺。
然而，事實遠(yuǎn)非如此。Video-TT的研究者們認(rèn)為，即便在信息密集的短視頻中，依然存在大量需要深度推理和復(fù)雜認(rèn)知才能解決的挑戰(zhàn)。簡單地提升準(zhǔn)確率分?jǐn)?shù)，并不能證明AI擁有了與人類同等的智慧。
Video-TT的破局創(chuàng)新點在于，它選擇了1000條全新的YouTube短視頻（避免數(shù)據(jù)污染），并精心設(shè)計問題的標(biāo)注，確保答案能在有限的、統(tǒng)一的80幀內(nèi)找到。
這樣一來，所有模型都在同一起跑線上“看”素材，評測的焦點便從“如何有效采樣”轉(zhuǎn)移到了“能否深刻理解”上，從而撥開迷霧，直擊AI的“思考”核心。
突出“思考”能力的問題設(shè)計
要衡量“思考”，就必須提出能夠激發(fā)“思考”的問題。Video-TT的設(shè)計原則是，一個復(fù)雜的問題并非由其類型決定（如“物體顏色”vs“情節(jié)理解”），而是由其背后的上下文、原因和場景決定。
研究團(tuán)隊從“認(rèn)知科學(xué)”和“影視敘事學(xué)”中汲取靈感，構(gòu)建了兩個核心的復(fù)雜性維度：視覺復(fù)雜度和敘事復(fù)雜度。
維度一：視覺復(fù)雜度（VisualComplexity）
這部分關(guān)注的是視頻畫面的內(nèi)在挑戰(zhàn)，共包含四個方面：
模糊與非常規(guī)內(nèi)容（Unclear&UnusualContent）視頻中是否存在干擾、模糊、遮擋，或者出現(xiàn)了與我們?nèi)粘ＵJ(rèn)知相悖的物體或現(xiàn)象？運動速度（MovementSpeed）物體或鏡頭的移動是否過快，導(dǎo)致難以識別或追蹤？時空布局（Spatial-temporalArrangement）場景中物體的位置關(guān)系和互動是否復(fù)雜？是否存在大量的時空信息需要處理？視錯覺（Illusions）視頻是否利用了拍攝技巧或內(nèi)容本身來制造錯覺，挑戰(zhàn)觀眾的直覺？
維度二：敘事復(fù)雜度（NarrativeComplexity）
這部分關(guān)注的是視頻作為一種“故事”的表達(dá)方式，其內(nèi)在的邏輯和深度，同樣包含四個方面：
復(fù)雜情節(jié)（ComplexPlot）故事線是否存在反轉(zhuǎn)或意想不到的結(jié)局？敘事剪輯（NarrativeEditing）是否使用了蒙太奇等復(fù)雜的剪輯手法來講述故事，而非平鋪直敘？技術(shù)性剪輯（TechnicalEditing）是否存在難以察覺的、與內(nèi)容融為一體的特效或后期處理？世界知識（WorldKnowledge）理解視頻是否需要依賴超越畫面本身的世界常識、文化背景或社會規(guī)范？
例如，上圖中的Q-8提問“視頻中的女士在模仿什么行為？”，這需要觀眾擁有關(guān)于“特定活動”（被子彈擊中后倒下）的世界知識才能正確回答。這些問題迫使模型超越簡單的物體識別，進(jìn)入真正的推理（Reasoning）層面。
AI思考的“魯棒”檢驗
擁有了能讓AI“思考”的難題還不夠，我們還需要知道它的思考有多“魯棒”（Robustness）。一個魯棒的模型，不應(yīng)該因為用戶表述的方法稍有改變就給出截然不同的答案。
為此，Video-TT為每一個核心難題（PrimaryQuestion）都配備了四種“自然對抗性問題”（NaturalAdversarialQuestions），形成一套完整的測試體系。
這五種問題類型分別是：
核心問題（PrimaryOpen-endedQuestion）基于視覺和敘事復(fù)雜度設(shè)計的開放式的問題。復(fù)述問題（RephrasedQuestion)用不同的措辭問同一個問題（例如，“誰的頭被拍了？”），模型的答案理應(yīng)保持一致。正確誘導(dǎo)問題（Correctly-ledQuestion)問題中包含正確的線索（例如，“他拍的是穿8號球衣的球員的頭嗎？”），這測試模型能否利用提示來確認(rèn)事實。錯誤誘導(dǎo)問題（Wrongly-ledQuestion)問題中包含錯誤的、誤導(dǎo)性的線索（例如，“他拍的是穿9號球衣的球員的頭嗎？”），這對于模型來說是最大的考驗，它必須足夠“自信”地否定錯誤的誘導(dǎo)。多項選擇問題（Multiple-choiceQuestion）將正確和錯誤的誘導(dǎo)信息作為選項，考察模型在有明確選項時的辨別能力。
只有當(dāng)模型能夠準(zhǔn)確回答核心問題（正確性），并且在面對各種“變體”提問時仍能保持判斷一致（魯棒性），我們才能說它達(dá)到了真正的、類人的理解水平。
評測結(jié)果與分析
經(jīng)過如此嚴(yán)苛的設(shè)計，Video-TT的評測結(jié)果揭示了一個驚人的事實：目前的SOTA模型，在視頻思維能力上，與人類相比仍有巨大鴻溝。
從數(shù)據(jù)中可以清晰地看到：
人類遙遙領(lǐng)先人類測試者在正確性上達(dá)到84.3%，魯棒性達(dá)到64.4%，展現(xiàn)了強大的理解與推理能力。GPT-4o表現(xiàn)腰斬作為當(dāng)前最強的多模態(tài)模型之一，GPT-4o的正確率僅為36.6%，不足人類的一半。其36.0%的魯棒性得分也表明，它在面對干擾時同樣表現(xiàn)不佳。開源模型仍需努力雖然部分開源模型在多選題上能與GPT-4o媲美，但在更考驗真實理解能力的開放式問題上，差距顯著。這說明，現(xiàn)有的許多其他基準(zhǔn)測試可能因為側(cè)重選擇題而高估了模型的能力。
這一巨大的分?jǐn)?shù)差距有力地證明，當(dāng)前的AI在真正成為AGI的道路上，尤其是在視頻理解這一核心領(lǐng)域，依然任重而道遠(yuǎn)。
對AI的錯誤類型進(jìn)行分析。可以看出，“復(fù)雜情節(jié)”（ComplexPlot）和“世界知識”（WorldKnowledge）是導(dǎo)致模型在高級認(rèn)知任務(wù)中失敗的主要原因。
Video-TT的作者們對GPT-4o的錯誤答案進(jìn)行了深入的定性分析，發(fā)現(xiàn)了三大核心弱點：
弱點一：時空混淆——“理不清”時間與空間
在需要理解時空關(guān)系的任務(wù)中，模型錯誤率極高。
物體計數(shù)模型很難精確追蹤隨時間變化的物體。例如，在一個視頻中，墻上的相框先出現(xiàn)，然后移出畫面，再重新出現(xiàn)。模型可以數(shù)清單幀內(nèi)的相框數(shù)量，但無法正確計算整個過程中出現(xiàn)過的不同相框總數(shù)。序列定位當(dāng)越多事件被排序到一條視頻里，模型越分不清問題里的語義內(nèi)容和視頻的具體關(guān)聯(lián)。比如，單一事件場景下，它可能知道“翻跟斗”這個動作、也知道怎么數(shù)數(shù)定位，但在多事件場景里，卻無法正確數(shù)數(shù)定位到第二位“翻跟斗”的視頻人物。
弱點二：常識缺失——“看不懂”言外之意
許多錯誤源于模型缺乏人類社會和文化中的常識（WorldKnowledge）。
角色動機與情感模型可以描述一個人的表情是“平靜的”，但無法結(jié)合上下文（例如，剛剛在比賽中獲得銀牌）理解這種“平靜”背后其實是“失望”。人類知道“銀牌得主通常比銅牌得主更失落”，因為他們離金牌僅一步之遙，而模型沒有這種深層社會心理知識。
弱點三：復(fù)雜情節(jié)理解失敗——“串不起”故事線
當(dāng)視頻敘事需要跨場景、跨線索進(jìn)行邏輯推理時，模型往往會“掉線”。
因果關(guān)系鏈條斷裂在一條視頻中，第一個場景是一個人在房屋附近打棒球，而第二個場景是展示房屋的押金被扣除。模型可以分別描述這兩個場景，但無法將它們聯(lián)系起來，推理出“因為棒球被打入屋里，破壞了房屋，所以押金被扣”這一核心的因果關(guān)系。它會錯誤地認(rèn)為視頻只是在展示“買棒球棒花了多少錢”。
Video-TT這一評測基準(zhǔn)提示相關(guān)研究者，在看到AI技術(shù)進(jìn)步的同時，也需留意其存在的不足，該領(lǐng)域的探索仍需不斷深入。
論文鏈接：https://arxiv.org/abs/2507.15028數(shù)據(jù)集：https://huggingface.co/datasets/lmms-lab/video-tt項目主頁：https://zhangyuanhan-ai.github.io/video-tt/
小說:穿越大明1630年,草莽豪杰力挽狂瀾救萬民
《大明1630》:不推薦我會睡不著,看了你會舍不得睡!
