評論區(qū)攝影大賽直擊人心篇來了，本期作品都非常優(yōu)秀歡迎投稿好的作品會讓更多人看到
Video-TT團隊投稿量子位|公眾號QbitAI
視頻大型語言模型（VideoLLMs）的發(fā)展日新月異，它們似乎能夠精準描述視頻內(nèi)容、準確的回答相關問題，展現(xiàn)出足以亂真的人類級理解力。
但有一個非常本質(zhì)的問題始終縈繞著研究者的心頭：這些模型是真的“理解”了視頻，還是僅僅在進行一種高級的“模式匹配”？
為了解決上述問題，來自南洋理工大學S-Lab的研究者們提出了一個全新的、極具挑戰(zhàn)性的基準測試——VideoThinkingTest（簡稱Video-TT）。
其核心目標簡單而深刻：將“看”與“想”的能力分離，精準測量AI在視頻內(nèi)容上的真實理解和推理水平。
研究團隊有三項關鍵發(fā)現(xiàn)：
（1）人類在視頻理解的“準確率”和“魯棒性”上遠超SOTA級模型（50%），差距顯著。
（2）開源模型在“魯棒性”上遠遜GPT-4o（SOTA模型之一）。
（3）GPT-4o的短板在于：對模糊或非常規(guī)內(nèi)容識別能力弱；對多場景區(qū)分、定位、計算能力有困難；世界知識對應能力欠缺，無法理解意圖、社會動態(tài)等深層信息。
Video-TT圖靈測試集由南洋理工大學S-Lab科研團隊聯(lián)合獨立研究員共同研發(fā)完成。主要作者包括南洋理工大學博士生張元瀚、董宇昊，二人的研究方向聚焦多模態(tài)模型；通訊作者為南洋理工大學助理教授劉子緯。
Video-TT的問題定位
人類的智慧核心在于其正確性（Correctness）和魯棒性（Robustness）。
正確性意味著我們能準確地解讀信息，而魯棒性則保證了我們在面對信息干擾、歧義或不同表述時，依然能保持正確的判斷。這兩者結(jié)合，才構(gòu)成了真正可靠的理解能力。
現(xiàn)有的視頻理解基準測試（Benchmark）在衡量AI是否達到人類級智慧上存在著一些根本性的缺陷。它們往往無法區(qū)分模型是因為“沒看清”而犯錯（即關鍵視頻幀采樣不足），還是因為“沒想明白”而出錯（即缺乏真正的推理能力）。
這種混淆使得我們很難評估AI在視頻理解上的真實水平。
在Video-TT出現(xiàn)之前，視頻理解領域已有相應的評測標準，但這些標準普遍存在一定局限性，導致AI的真實能力無法被準確衡量。
問題一：長視頻評測的“幀采樣悖論”
近期，許多研究都聚焦于長視頻理解。然而由于計算資源限制，模型無法處理視頻的每一幀，只能“跳著看”（稀疏采樣）。
這就帶來一個問題：當模型答錯時，我們無法確定是它能力不行，還是運氣不好，恰好錯過了包含答案的關鍵幀。
如下圖所示，在一些長視頻評測中（如VideoMME-Long），即便是強大的GPT-4o，其性能也可能因為采樣幀數(shù)的限制而大幅下降。這種下降反映的更多是“采樣策略”的失敗，而非“理解能力”的不足。
問題二：短視頻評測的“天花板幻覺”
與長視頻相對，短視頻評測（如VideoMME-Short）由于時長較短，模型可以幾乎“看完”所有幀。在這種情況下，一些頂尖模型的表現(xiàn)接近甚至達到了人類水平（上圖左側(cè)），這容易給人一種“短視頻理解問題已被基本解決”的錯覺。
然而，事實遠非如此。Video-TT的研究者們認為，即便在信息密集的短視頻中，依然存在大量需要深度推理和復雜認知才能解決的挑戰(zhàn)。簡單地提升準確率分數(shù)，并不能證明AI擁有了與人類同等的智慧。
Video-TT的破局創(chuàng)新點在于，它選擇了1000條全新的YouTube短視頻（避免數(shù)據(jù)污染），并精心設計問題的標注，確保答案能在有限的、統(tǒng)一的80幀內(nèi)找到。
這樣一來，所有模型都在同一起跑線上“看”素材，評測的焦點便從“如何有效采樣”轉(zhuǎn)移到了“能否深刻理解”上，從而撥開迷霧，直擊AI的“思考”核心。
突出“思考”能力的問題設計
要衡量“思考”，就必須提出能夠激發(fā)“思考”的問題。Video-TT的設計原則是，一個復雜的問題并非由其類型決定（如“物體顏色”vs“情節(jié)理解”），而是由其背后的上下文、原因和場景決定。
研究團隊從“認知科學”和“影視敘事學”中汲取靈感，構(gòu)建了兩個核心的復雜性維度：視覺復雜度和敘事復雜度。
維度一：視覺復雜度（VisualComplexity）
這部分關注的是視頻畫面的內(nèi)在挑戰(zhàn)，共包含四個方面：
模糊與非常規(guī)內(nèi)容（Unclear&UnusualContent）視頻中是否存在干擾、模糊、遮擋，或者出現(xiàn)了與我們?nèi)粘ＵJ知相悖的物體或現(xiàn)象？運動速度（MovementSpeed）物體或鏡頭的移動是否過快，導致難以識別或追蹤？時空布局（Spatial-temporalArrangement）場景中物體的位置關系和互動是否復雜？是否存在大量的時空信息需要處理？視錯覺（Illusions）視頻是否利用了拍攝技巧或內(nèi)容本身來制造錯覺，挑戰(zhàn)觀眾的直覺？
維度二：敘事復雜度（NarrativeComplexity）
這部分關注的是視頻作為一種“故事”的表達方式，其內(nèi)在的邏輯和深度，同樣包含四個方面：
復雜情節(jié)（ComplexPlot）故事線是否存在反轉(zhuǎn)或意想不到的結(jié)局？敘事剪輯（NarrativeEditing）是否使用了蒙太奇等復雜的剪輯手法來講述故事，而非平鋪直敘？技術(shù)性剪輯（TechnicalEditing）是否存在難以察覺的、與內(nèi)容融為一體的特效或后期處理？世界知識（WorldKnowledge）理解視頻是否需要依賴超越畫面本身的世界常識、文化背景或社會規(guī)范？
例如，上圖中的Q-8提問“視頻中的女士在模仿什么行為？”，這需要觀眾擁有關于“特定活動”（被子彈擊中后倒下）的世界知識才能正確回答。這些問題迫使模型超越簡單的物體識別，進入真正的推理（Reasoning）層面。
AI思考的“魯棒”檢驗
擁有了能讓AI“思考”的難題還不夠，我們還需要知道它的思考有多“魯棒”（Robustness）。一個魯棒的模型，不應該因為用戶表述的方法稍有改變就給出截然不同的答案。
為此，Video-TT為每一個核心難題（PrimaryQuestion）都配備了四種“自然對抗性問題”（NaturalAdversarialQuestions），形成一套完整的測試體系。
這五種問題類型分別是：
核心問題（PrimaryOpen-endedQuestion）基于視覺和敘事復雜度設計的開放式的問題。復述問題（RephrasedQuestion)用不同的措辭問同一個問題（例如，“誰的頭被拍了？”），模型的答案理應保持一致。正確誘導問題（Correctly-ledQuestion)問題中包含正確的線索（例如，“他拍的是穿8號球衣的球員的頭嗎？”），這測試模型能否利用提示來確認事實。錯誤誘導問題（Wrongly-ledQuestion)問題中包含錯誤的、誤導性的線索（例如，“他拍的是穿9號球衣的球員的頭嗎？”），這對于模型來說是最大的考驗，它必須足夠“自信”地否定錯誤的誘導。多項選擇問題（Multiple-choiceQuestion）將正確和錯誤的誘導信息作為選項，考察模型在有明確選項時的辨別能力。
只有當模型能夠準確回答核心問題（正確性），并且在面對各種“變體”提問時仍能保持判斷一致（魯棒性），我們才能說它達到了真正的、類人的理解水平。
評測結(jié)果與分析
經(jīng)過如此嚴苛的設計，Video-TT的評測結(jié)果揭示了一個驚人的事實：目前的SOTA模型，在視頻思維能力上，與人類相比仍有巨大鴻溝。
從數(shù)據(jù)中可以清晰地看到：
人類遙遙領先人類測試者在正確性上達到84.3%，魯棒性達到64.4%，展現(xiàn)了強大的理解與推理能力。GPT-4o表現(xiàn)腰斬作為當前最強的多模態(tài)模型之一，GPT-4o的正確率僅為36.6%，不足人類的一半。其36.0%的魯棒性得分也表明，它在面對干擾時同樣表現(xiàn)不佳。開源模型仍需努力雖然部分開源模型在多選題上能與GPT-4o媲美，但在更考驗真實理解能力的開放式問題上，差距顯著。這說明，現(xiàn)有的許多其他基準測試可能因為側(cè)重選擇題而高估了模型的能力。
這一巨大的分數(shù)差距有力地證明，當前的AI在真正成為AGI的道路上，尤其是在視頻理解這一核心領域，依然任重而道遠。
對AI的錯誤類型進行分析?？梢钥闯?，“復雜情節(jié)”（ComplexPlot）和“世界知識”（WorldKnowledge）是導致模型在高級認知任務中失敗的主要原因。
Video-TT的作者們對GPT-4o的錯誤答案進行了深入的定性分析，發(fā)現(xiàn)了三大核心弱點：
弱點一：時空混淆——“理不清”時間與空間
在需要理解時空關系的任務中，模型錯誤率極高。
物體計數(shù)模型很難精確追蹤隨時間變化的物體。例如，在一個視頻中，墻上的相框先出現(xiàn)，然后移出畫面，再重新出現(xiàn)。模型可以數(shù)清單幀內(nèi)的相框數(shù)量，但無法正確計算整個過程中出現(xiàn)過的不同相框總數(shù)。序列定位當越多事件被排序到一條視頻里，模型越分不清問題里的語義內(nèi)容和視頻的具體關聯(lián)。比如，單一事件場景下，它可能知道“翻跟斗”這個動作、也知道怎么數(shù)數(shù)定位，但在多事件場景里，卻無法正確數(shù)數(shù)定位到第二位“翻跟斗”的視頻人物。
弱點二：常識缺失——“看不懂”言外之意
許多錯誤源于模型缺乏人類社會和文化中的常識（WorldKnowledge）。
角色動機與情感模型可以描述一個人的表情是“平靜的”，但無法結(jié)合上下文（例如，剛剛在比賽中獲得銀牌）理解這種“平靜”背后其實是“失望”。人類知道“銀牌得主通常比銅牌得主更失落”，因為他們離金牌僅一步之遙，而模型沒有這種深層社會心理知識。
弱點三：復雜情節(jié)理解失敗——“串不起”故事線
當視頻敘事需要跨場景、跨線索進行邏輯推理時，模型往往會“掉線”。
因果關系鏈條斷裂在一條視頻中，第一個場景是一個人在房屋附近打棒球，而第二個場景是展示房屋的押金被扣除。模型可以分別描述這兩個場景，但無法將它們聯(lián)系起來，推理出“因為棒球被打入屋里，破壞了房屋，所以押金被扣”這一核心的因果關系。它會錯誤地認為視頻只是在展示“買棒球棒花了多少錢”。
Video-TT這一評測基準提示相關研究者，在看到AI技術(shù)進步的同時，也需留意其存在的不足，該領域的探索仍需不斷深入。
論文鏈接：https://arxiv.org/abs/2507.15028數(shù)據(jù)集：https://huggingface.co/datasets/lmms-lab/video-tt項目主頁：https://zhangyuanhan-ai.github.io/video-tt/
第一次遇見他時 見他和一個女孩在爭吵， 她好心上前去勸， 可誰知他一看見她就開口叫她老婆， 第二次遇見他時， 她被他強吻， 而后又被迫無奈與他同居， 并且他還拿出一張婚約紙， 靠 這什么節(jié)奏啊這， 一來這學校， 先是被人叫老婆， 而后又是跟人同居， 再來居然還多了一張婚約 ？ ？
