Video-Oasis: Переосмысление оценки понимания видео

Аннотация

Внутренняя сложность понимания видео затрудняет определение того, обусловлена ли производительность бенчмарков Video-LLM зрительным восприятием, лингвистическими рассуждениями или априорными знаниями. Хотя появилось множество бенчмарков для оценки высокоуровневых рассуждений, общие критерии оценки понимания видео по-прежнему остаются без должного внимания. Вместо того чтобы вводить очередной бенчмарк, мы делаем шаг назад и пересматриваем критерии оценки понимания видео. В данной работе мы представляем Video-Oasis — устойчивый диагностический набор для систематического аудита существующих бенчмарков понимания видео. Этот аудит показывает, что 55% образцов существующих бенчмарков можно решить без визуального ввода или временного контекста. После фильтрации этих «коротких путей» оставшиеся задачи, требующие собственно видео-анализа, выявляют существенный разрыв в возможностях: современные модели показывают результаты лишь незначительно выше случайного угадывания. Основываясь на этих выводах, мы используем выделенные задачи как экспериментальную площадку для исследования того, какие алгоритмические проектные решения способствуют надежному пониманию видео. Мы надеемся, что наша работа послужит практической основой для построения строгих бенчмарков видео и оценки будущих Video-LLM. Код доступен по адресу: https://github.com/sejong-rcv/Video-Oasis.

English

The inherent complexity of video understanding makes it difficult to determine whether Video-LLM benchmark performance stems from visual perception, linguistic reasoning, or knowledge priors. While many benchmarks have emerged to assess high-level reasoning, shared criteria for evaluating video understanding remain largely overlooked. Instead of introducing yet another benchmark, we take a step back to re-examine the criteria for evaluating video understanding. In this work, we introduce Video-Oasis, a sustainable diagnostic suite for systematically auditing existing video understanding benchmarks. This audit reveals that 55\% of existing benchmark samples are solvable without visual input or temporal context. After filtering these shortcuts, the remaining video-native challenges expose a substantial capability gap: state-of-the-art models perform only marginally above random guessing. Building on these findings, we use the distilled challenges as a testbed to investigate which algorithmic design choices contribute to robust video understanding. We hope our work provides a practical foundation for constructing rigorous video benchmarks and evaluating future Video-LLMs. Code is available at https://github.com/sejong-rcv/Video-Oasis.