Video-Oasis: Repensando a Avaliação da Compreensão de Vídeo

Resumo

A complexidade inerente à compreensão de vídeo dificulta determinar se o desempenho em benchmarks de Video-LLM decorre da percepção visual, do raciocínio linguístico ou de conhecimentos prévios. Embora muitos benchmarks tenham surgido para avaliar raciocínio de alto nível, critérios compartilhados para avaliar a compreensão de vídeo permanecem amplamente negligenciados. Em vez de introduzir mais um benchmark, damos um passo atrás para reexaminar os critérios de avaliação da compreensão de vídeo. Neste trabalho, apresentamos o Video-Oasis, um conjunto de ferramentas de diagnóstico sustentável para auditar sistematicamente benchmarks existentes de compreensão de vídeo. Esta auditoria revela que 55% das amostras de benchmarks existentes são solucionáveis sem entrada visual ou contexto temporal. Após filtrar esses atalhos, os desafios restantes nativos de vídeo expõem uma lacuna substancial de capacidade: modelos de última geração têm desempenho apenas marginalmente acima de palpites aleatórios. Com base nesses achados, usamos os desafios destilados como um ambiente de teste para investigar quais escolhas de design algorítmico contribuem para uma compreensão robusta de vídeo. Esperamos que nosso trabalho forneça uma base prática para a construção de benchmarks rigorosos de vídeo e para a avaliação de futuros Video-LLMs. O código está disponível em https://github.com/sejong-rcv/Video-Oasis.

English

The inherent complexity of video understanding makes it difficult to determine whether Video-LLM benchmark performance stems from visual perception, linguistic reasoning, or knowledge priors. While many benchmarks have emerged to assess high-level reasoning, shared criteria for evaluating video understanding remain largely overlooked. Instead of introducing yet another benchmark, we take a step back to re-examine the criteria for evaluating video understanding. In this work, we introduce Video-Oasis, a sustainable diagnostic suite for systematically auditing existing video understanding benchmarks. This audit reveals that 55\% of existing benchmark samples are solvable without visual input or temporal context. After filtering these shortcuts, the remaining video-native challenges expose a substantial capability gap: state-of-the-art models perform only marginally above random guessing. Building on these findings, we use the distilled challenges as a testbed to investigate which algorithmic design choices contribute to robust video understanding. We hope our work provides a practical foundation for constructing rigorous video benchmarks and evaluating future Video-LLMs. Code is available at https://github.com/sejong-rcv/Video-Oasis.