Verso il Test del Pensiero Video: Un Benchmark Olistico per il Ragionamento e la Comprensione Avanzata dei Video

Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding

July 20, 2025

Autori: Yuanhan Zhang, Yunice Chew, Yuhao Dong, Aria Leo, Bo Hu, Ziwei Liu

cs.AI

Abstract

L'intelligenza umana richiede correttezza e robustezza, con la prima che costituisce la base per la seconda. Nella comprensione video, la correttezza garantisce l'interpretazione accurata del contenuto visivo, mentre la robustezza mantiene prestazioni consistenti in condizioni difficili. Nonostante i progressi nei modelli linguistici di grandi dimensioni per video (video LLM), i benchmark esistenti non riflettono adeguatamente il divario tra questi modelli e l'intelligenza umana nel mantenere correttezza e robustezza nell'interpretazione video. Introduciamo il Video Thinking Test (Video-TT) per valutare se i video LLM possono interpretare i video del mondo reale in modo efficace quanto gli esseri umani. Video-TT riflette lacune reali nella comprensione di narrazioni visive complesse e valuta la robustezza rispetto a domande avversarie naturali. Video-TT comprende 1.000 video di YouTube Shorts, ciascuno con una domanda aperta e quattro domande avversarie che esplorano la complessità visiva e narrativa. La nostra valutazione mostra un divario significativo tra le prestazioni dei video LLM e quelle umane.

English

Human intelligence requires correctness and robustness, with the former being foundational for the latter. In video understanding, correctness ensures the accurate interpretation of visual content, and robustness maintains consistent performance in challenging conditions. Despite advances in video large language models (video LLMs), existing benchmarks inadequately reflect the gap between these models and human intelligence in maintaining correctness and robustness in video interpretation. We introduce the Video Thinking Test (Video-TT), to assess if video LLMs can interpret real-world videos as effectively as humans. Video-TT reflects genuine gaps in understanding complex visual narratives, and evaluates robustness against natural adversarial questions. Video-TT comprises 1,000 YouTube Shorts videos, each with one open-ended question and four adversarial questions that probe visual and narrative complexity. Our evaluation shows a significant gap between video LLMs and human performance.