Fomentando el Razonamiento en Video mediante la Predicción del Siguiente Evento

Fostering Video Reasoning via Next-Event Prediction

May 28, 2025

Autores: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang

cs.AI

Resumen

La predicción del siguiente token sirve como la tarea de aprendizaje fundamental que permite el razonamiento en los LLM. Pero, ¿cuál debería ser la tarea de aprendizaje cuando se busca dotar a los MLLM de capacidades de razonamiento temporal sobre entradas de video? Tareas existentes, como la respuesta a preguntas sobre videos, a menudo dependen de anotaciones realizadas por humanos o por MLLM mucho más potentes, mientras que la generación de subtítulos para videos tiende a entrelazar el razonamiento temporal con la información espacial. Para abordar esta brecha, proponemos la predicción del siguiente evento (NEP, por sus siglas en inglés), una tarea de aprendizaje que aprovecha los segmentos futuros de video como una señal rica y autosupervisada para fomentar el razonamiento temporal. Segmentamos cada video en fotogramas pasados y futuros: el MLLM toma los fotogramas pasados como entrada y predice un resumen de eventos derivados de los fotogramas futuros, incentivando así al modelo a razonar temporalmente para completar la tarea. Para respaldar esta tarea, hemos creado V1-33K, un conjunto de datos que comprende 33,000 segmentos de video extraídos automáticamente y que abarcan diversos escenarios del mundo real. Además, exploramos una variedad de estrategias de ajuste instruccional de video para estudiar sus efectos en el razonamiento temporal. Para evaluar el progreso, presentamos FutureBench, una herramienta diseñada para evaluar la coherencia en la predicción de eventos futuros no vistos. Los experimentos validan que NEP ofrece un paradigma de entrenamiento escalable y efectivo para fomentar el razonamiento temporal en los MLLM.

English

Next-token prediction serves as the foundational learning task enabling reasoning in LLMs. But what should the learning task be when aiming to equip MLLMs with temporal reasoning capabilities over video inputs? Existing tasks such as video question answering often rely on annotations from humans or much stronger MLLMs, while video captioning tends to entangle temporal reasoning with spatial information. To address this gap, we propose next-event prediction (NEP), a learning task that harnesses future video segments as a rich, self-supervised signal to foster temporal reasoning. We segment each video into past and future frames: the MLLM takes the past frames as input and predicts a summary of events derived from the future frames, thereby encouraging the model to reason temporally in order to complete the task. To support this task, we curate V1-33K, a dataset comprising 33,000 automatically extracted video segments spanning diverse real-world scenarios. We further explore a range of video instruction-tuning strategies to study their effects on temporal reasoning. To evaluate progress, we introduce FutureBench to assess coherence in predicting unseen future events. Experiments validate that NEP offers a scalable and effective training paradigm for fostering temporal reasoning in MLLMs.