ПОМИДОР: Оценка визуальных временных рассуждений в мультимодальных базовых моделях

TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models

October 30, 2024

Авторы: Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan

cs.AI

Аннотация

Существующие бенчмарки часто подчеркивают выдающуюся производительность, достигнутую передовыми Мультимодальными Основными Моделями (МОМ) в использовании временного контекста для понимания видео. Однако насколько хорошо модели действительно выполняют визуальное временное рассуждение? Наше изучение существующих бенчмарков показывает, что эта способность МОМ, вероятно, переоценена, поскольку многие вопросы можно решить, используя один, несколько или не в порядке кадры. Для систематического изучения текущих задач визуального временного рассуждения мы предлагаем три принципа с соответствующими метриками: (1) Прирост на нескольких кадрах, (2) Чувствительность к порядку кадров и (3) Диспаратность информации кадра. Следуя этим принципам, мы представляем TOMATO, Оценку Мультимодального Временного Рассуждения, новый бенчмарк, разработанный для тщательной оценки способностей МОМ в визуальном временном рассуждении при понимании видео. TOMATO включает в себя 1 484 тщательно подобранных, аннотированных человеком вопросов, охватывающих шесть задач (т.е. подсчет действий, направление, вращение, форма и тенденция, скорость и частота, и визуальные подсказки), примененных к 1 417 видео, включая 805 самостоятельно записанных и созданных видео, охватывающих сценарии, связанные с человеком, реальными мирами и симулированными ситуациями. Наше всестороннее оценивание показывает разрыв в производительности между человеком и моделью в размере 57,3% у лучшей модели. Более того, наш анализ выявляет более фундаментальные ограничения за этим разрывом в текущих МОМ. Хотя они могут точно распознавать события в изолированных кадрах, они не могут интерпретировать эти кадры как непрерывную последовательность. Мы считаем, что TOMATO станет важной площадкой для оценки МОМ следующего поколения и призывом к сообществу разработать ИИ-системы, способные понимать динамику человеческого мира через видео-модальность.

English

Existing benchmarks often highlight the remarkable performance achieved by state-of-the-art Multimodal Foundation Models (MFMs) in leveraging temporal context for video understanding. However, how well do the models truly perform visual temporal reasoning? Our study of existing benchmarks shows that this capability of MFMs is likely overestimated as many questions can be solved by using a single, few, or out-of-order frames. To systematically examine current visual temporal reasoning tasks, we propose three principles with corresponding metrics: (1) Multi-Frame Gain, (2) Frame Order Sensitivity, and (3) Frame Information Disparity. Following these principles, we introduce TOMATO, Temporal Reasoning Multimodal Evaluation, a novel benchmark crafted to rigorously assess MFMs' temporal reasoning capabilities in video understanding. TOMATO comprises 1,484 carefully curated, human-annotated questions spanning six tasks (i.e., action count, direction, rotation, shape & trend, velocity & frequency, and visual cues), applied to 1,417 videos, including 805 self-recorded and -generated videos, that encompass human-centric, real-world, and simulated scenarios. Our comprehensive evaluation reveals a human-model performance gap of 57.3% with the best-performing model. Moreover, our in-depth analysis uncovers more fundamental limitations beyond this gap in current MFMs. While they can accurately recognize events in isolated frames, they fail to interpret these frames as a continuous sequence. We believe TOMATO will serve as a crucial testbed for evaluating the next-generation MFMs and as a call to the community to develop AI systems capable of comprehending human world dynamics through the video modality.