TVBench: Redesenho da Avaliação de Vídeo-Idioma

TVBench: Redesigning Video-Language Evaluation

October 10, 2024

Autores: Daniel Cores, Michael Dorkenwald, Manuel Mucientes, Cees G. M. Snoek, Yuki M. Asano

cs.AI

Resumo

Grandes modelos de linguagem têm demonstrado um desempenho impressionante quando integrados com modelos de visão, possibilitando até mesmo a compreensão de vídeos. No entanto, avaliar esses modelos de vídeo apresenta seus próprios desafios únicos, para os quais foram propostos vários benchmarks. Neste artigo, mostramos que os benchmarks de vídeo-linguagem mais utilizados atualmente podem ser resolvidos sem exigir muito raciocínio temporal. Identificamos três problemas principais nos conjuntos de dados existentes: (i) informações estáticas de quadros individuais frequentemente são suficientes para resolver as tarefas; (ii) o texto das perguntas e respostas candidatas é excessivamente informativo, permitindo que os modelos respondam corretamente sem depender de qualquer entrada visual; (iii) o conhecimento do mundo por si só pode responder a muitas das perguntas, tornando os benchmarks um teste de replicação de conhecimento em vez de raciocínio visual. Além disso, descobrimos que benchmarks de perguntas e respostas abertas para compreensão de vídeo sofrem de problemas semelhantes, enquanto o processo de avaliação automática com Grandes Modelos de Linguagem é pouco confiável, tornando-o uma alternativa inadequada. Como solução, propomos o TVBench, um novo benchmark de perguntas de múltipla escolha de código aberto para vídeos, e demonstramos por meio de extensas avaliações que ele requer um alto nível de compreensão temporal. Surpreendentemente, descobrimos que a maioria dos modelos de vídeo-linguagem de última geração tem desempenho semelhante ao aleatório no TVBench, sendo apenas o Gemini-Pro e o Tarsier claramente superiores a essa linha de base.

English

Large language models have demonstrated impressive performance when integrated with vision models even enabling video understanding. However, evaluating these video models presents its own unique challenges, for which several benchmarks have been proposed. In this paper, we show that the currently most used video-language benchmarks can be solved without requiring much temporal reasoning. We identified three main issues in existing datasets: (i) static information from single frames is often sufficient to solve the tasks (ii) the text of the questions and candidate answers is overly informative, allowing models to answer correctly without relying on any visual input (iii) world knowledge alone can answer many of the questions, making the benchmarks a test of knowledge replication rather than visual reasoning. In addition, we found that open-ended question-answering benchmarks for video understanding suffer from similar issues while the automatic evaluation process with LLMs is unreliable, making it an unsuitable alternative. As a solution, we propose TVBench, a novel open-source video multiple-choice question-answering benchmark, and demonstrate through extensive evaluations that it requires a high level of temporal understanding. Surprisingly, we find that most recent state-of-the-art video-language models perform similarly to random performance on TVBench, with only Gemini-Pro and Tarsier clearly surpassing this baseline.