К тесту на видеомышление: комплексный эталон для продвинутого анализа и понимания видео
Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding
July 20, 2025
Авторы: Yuanhan Zhang, Yunice Chew, Yuhao Dong, Aria Leo, Bo Hu, Ziwei Liu
cs.AI
Аннотация
Человеческий интеллект требует корректности и устойчивости, причём первое является основой для второго. В понимании видео корректность обеспечивает точную интерпретацию визуального контента, а устойчивость поддерживает стабильную производительность в сложных условиях. Несмотря на прогресс в области больших языковых моделей для видео (video LLMs), существующие тесты недостаточно отражают разрыв между этими моделями и человеческим интеллектом в поддержании корректности и устойчивости при интерпретации видео. Мы представляем Тест на мышление в видео (Video-TT), чтобы оценить, могут ли video LLMs интерпретировать реальные видео так же эффективно, как люди. Video-TT выявляет реальные пробелы в понимании сложных визуальных нарративов и оценивает устойчивость к естественным адверсарным вопросам. Video-TT включает 1000 видеороликов YouTube Shorts, каждый из которых сопровождается одним открытым вопросом и четырьмя адверсарными вопросами, исследующими визуальную и нарративную сложность. Наша оценка показывает значительный разрыв между производительностью video LLMs и человека.
English
Human intelligence requires correctness and robustness, with the former being
foundational for the latter. In video understanding, correctness ensures the
accurate interpretation of visual content, and robustness maintains consistent
performance in challenging conditions. Despite advances in video large language
models (video LLMs), existing benchmarks inadequately reflect the gap between
these models and human intelligence in maintaining correctness and robustness
in video interpretation. We introduce the Video Thinking Test (Video-TT), to
assess if video LLMs can interpret real-world videos as effectively as humans.
Video-TT reflects genuine gaps in understanding complex visual narratives, and
evaluates robustness against natural adversarial questions. Video-TT comprises
1,000 YouTube Shorts videos, each with one open-ended question and four
adversarial questions that probe visual and narrative complexity. Our
evaluation shows a significant gap between video LLMs and human performance.