Hin zum Video-Denk-Test: Ein ganzheitlicher Benchmark für fortgeschrittene Videoanalyse und -verständnis

Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding

July 20, 2025

papers.authors: Yuanhan Zhang, Yunice Chew, Yuhao Dong, Aria Leo, Bo Hu, Ziwei Liu

cs.AI

papers.abstract

Menschliche Intelligenz erfordert Korrektheit und Robustheit, wobei erstere die Grundlage für letztere bildet. Im Bereich des Videoverständnisses gewährleistet Korrektheit die präzise Interpretation visueller Inhalte, während Robustheit eine konsistente Leistung unter herausfordernden Bedingungen sicherstellt. Trotz Fortschritten bei Video-Large-Language-Modellen (Video-LLMs) spiegeln bestehende Benchmarks die Kluft zwischen diesen Modellen und menschlicher Intelligenz in Bezug auf die Aufrechterhaltung von Korrektheit und Robustheit bei der Videointerpretation unzureichend wider. Wir führen den Video Thinking Test (Video-TT) ein, um zu bewerten, ob Video-LLMs reale Videos ebenso effektiv wie Menschen interpretieren können. Video-TT deckt echte Lücken im Verständnis komplexer visueller Erzählungen auf und bewertet die Robustheit gegenüber natürlichen adversarischen Fragen. Video-TT umfasst 1.000 YouTube Shorts-Videos, jeweils mit einer offenen Frage und vier adversarischen Fragen, die visuelle und narrative Komplexität untersuchen. Unsere Auswertung zeigt eine signifikante Lücke zwischen der Leistung von Video-LLMs und der menschlichen Leistung.

English

Human intelligence requires correctness and robustness, with the former being foundational for the latter. In video understanding, correctness ensures the accurate interpretation of visual content, and robustness maintains consistent performance in challenging conditions. Despite advances in video large language models (video LLMs), existing benchmarks inadequately reflect the gap between these models and human intelligence in maintaining correctness and robustness in video interpretation. We introduce the Video Thinking Test (Video-TT), to assess if video LLMs can interpret real-world videos as effectively as humans. Video-TT reflects genuine gaps in understanding complex visual narratives, and evaluates robustness against natural adversarial questions. Video-TT comprises 1,000 YouTube Shorts videos, each with one open-ended question and four adversarial questions that probe visual and narrative complexity. Our evaluation shows a significant gap between video LLMs and human performance.