TOMATE: Avaliando as Capacidades de Raciocínio Temporal Visual em Modelos Fundamentais Multimodais

TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models

October 30, 2024

Autores: Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan

cs.AI

Resumo

Benchmarks existentes frequentemente destacam o desempenho notável alcançado pelos Modelos de Fundação Multimodais (MFMs) de última geração na alavancagem do contexto temporal para compreensão de vídeo. No entanto, quão bem os modelos realmente realizam o raciocínio temporal visual? Nossa análise dos benchmarks existentes mostra que essa capacidade dos MFMs é provavelmente superestimada, pois muitas questões podem ser resolvidas usando um único, poucos ou quadros fora de ordem. Para examinar sistematicamente as tarefas atuais de raciocínio temporal visual, propomos três princípios com métricas correspondentes: (1) Ganho Multi-Frame, (2) Sensibilidade à Ordem dos Quadros e (3) Disparidade de Informação dos Quadros. Seguindo esses princípios, apresentamos o TOMATO, Avaliação Multimodal de Raciocínio Temporal, um novo benchmark elaborado para avaliar rigorosamente as capacidades de raciocínio temporal dos MFMs na compreensão de vídeo. O TOMATO é composto por 1.484 perguntas cuidadosamente selecionadas e humanamente anotadas abrangendo seis tarefas (ou seja, contagem de ações, direção, rotação, forma e tendência, velocidade e frequência, e pistas visuais), aplicadas a 1.417 vídeos, incluindo 805 vídeos auto gravados e gerados, que abrangem cenários centrados em humanos, do mundo real e simulados. Nossa avaliação abrangente revela uma lacuna de desempenho humano-modelo de 57,3% com o modelo de melhor desempenho. Além disso, nossa análise aprofundada revela limitações mais fundamentais além dessa lacuna nos MFMs atuais. Embora eles possam reconhecer eventos com precisão em quadros isolados, falham em interpretar esses quadros como uma sequência contínua. Acreditamos que o TOMATO servirá como um campo de testes crucial para avaliar os MFMs de próxima geração e como um apelo à comunidade para desenvolver sistemas de IA capazes de compreender a dinâmica do mundo humano por meio da modalidade de vídeo.

English

Existing benchmarks often highlight the remarkable performance achieved by state-of-the-art Multimodal Foundation Models (MFMs) in leveraging temporal context for video understanding. However, how well do the models truly perform visual temporal reasoning? Our study of existing benchmarks shows that this capability of MFMs is likely overestimated as many questions can be solved by using a single, few, or out-of-order frames. To systematically examine current visual temporal reasoning tasks, we propose three principles with corresponding metrics: (1) Multi-Frame Gain, (2) Frame Order Sensitivity, and (3) Frame Information Disparity. Following these principles, we introduce TOMATO, Temporal Reasoning Multimodal Evaluation, a novel benchmark crafted to rigorously assess MFMs' temporal reasoning capabilities in video understanding. TOMATO comprises 1,484 carefully curated, human-annotated questions spanning six tasks (i.e., action count, direction, rotation, shape & trend, velocity & frequency, and visual cues), applied to 1,417 videos, including 805 self-recorded and -generated videos, that encompass human-centric, real-world, and simulated scenarios. Our comprehensive evaluation reveals a human-model performance gap of 57.3% with the best-performing model. Moreover, our in-depth analysis uncovers more fundamental limitations beyond this gap in current MFMs. While they can accurately recognize events in isolated frames, they fail to interpret these frames as a continuous sequence. We believe TOMATO will serve as a crucial testbed for evaluating the next-generation MFMs and as a call to the community to develop AI systems capable of comprehending human world dynamics through the video modality.