Развитие способности к видеорассуждению через предсказание следующего события

Fostering Video Reasoning via Next-Event Prediction

May 28, 2025

Авторы: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang

cs.AI

Аннотация

Предсказание следующего токена служит базовой задачей обучения, которая обеспечивает способность к рассуждению в больших языковых моделях (LLM). Однако какой должна быть задача обучения, если цель заключается в оснащении мультимодальных языковых моделей (MLLM) способностью к временному рассуждению на основе видео? Существующие задачи, такие как ответы на вопросы по видео, часто полагаются на аннотации, созданные людьми или более мощными MLLM, в то время как создание описаний к видео склонно смешивать временное рассуждение с пространственной информацией. Чтобы устранить этот пробел, мы предлагаем задачу предсказания следующего события (NEP), которая использует будущие сегменты видео как богатый, самообучаемый сигнал для развития временного рассуждения. Мы разделяем каждое видео на прошлые и будущие кадры: MLLM принимает прошлые кадры в качестве входных данных и предсказывает сводку событий, извлеченных из будущих кадров, тем самым побуждая модель рассуждать временно для выполнения задачи. Для поддержки этой задачи мы создаем V1-33K — набор данных, состоящий из 33 000 автоматически извлеченных видео-сегментов, охватывающих разнообразные реальные сценарии. Мы также исследуем ряд стратегий настройки инструкций для видео, чтобы изучить их влияние на временное рассуждение. Для оценки прогресса мы представляем FutureBench, который оценивает согласованность в предсказании будущих событий, не встречавшихся ранее. Эксперименты подтверждают, что NEP предлагает масштабируемую и эффективную парадигму обучения для развития временного рассуждения в MLLM.

English

Next-token prediction serves as the foundational learning task enabling reasoning in LLMs. But what should the learning task be when aiming to equip MLLMs with temporal reasoning capabilities over video inputs? Existing tasks such as video question answering often rely on annotations from humans or much stronger MLLMs, while video captioning tends to entangle temporal reasoning with spatial information. To address this gap, we propose next-event prediction (NEP), a learning task that harnesses future video segments as a rich, self-supervised signal to foster temporal reasoning. We segment each video into past and future frames: the MLLM takes the past frames as input and predicts a summary of events derived from the future frames, thereby encouraging the model to reason temporally in order to complete the task. To support this task, we curate V1-33K, a dataset comprising 33,000 automatically extracted video segments spanning diverse real-world scenarios. We further explore a range of video instruction-tuning strategies to study their effects on temporal reasoning. To evaluate progress, we introduce FutureBench to assess coherence in predicting unseen future events. Experiments validate that NEP offers a scalable and effective training paradigm for fostering temporal reasoning in MLLMs.