Encourager le raisonnement vidéo via la prédiction du prochain événement

Fostering Video Reasoning via Next-Event Prediction

May 28, 2025

Auteurs: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang

cs.AI

Résumé

La prédiction du prochain jeton constitue la tâche d'apprentissage fondamentale permettant le raisonnement dans les LLM. Mais quelle devrait être la tâche d'apprentissage lorsqu'il s'agit d'équiper les MLLM de capacités de raisonnement temporel sur des entrées vidéo ? Les tâches existantes, telles que la réponse à des questions sur des vidéos, reposent souvent sur des annotations humaines ou sur des MLLM beaucoup plus performantes, tandis que la description de vidéos tend à mêler le raisonnement temporel avec des informations spatiales. Pour combler cette lacune, nous proposons la prédiction du prochain événement (NEP), une tâche d'apprentissage qui exploite les segments vidéo futurs comme un signal riche et auto-supervisé pour favoriser le raisonnement temporel. Nous segmentons chaque vidéo en images passées et futures : le MLLM prend les images passées en entrée et prédit un résumé des événements dérivés des images futures, encourageant ainsi le modèle à raisonner temporellement pour accomplir la tâche. Pour soutenir cette tâche, nous avons constitué V1-33K, un ensemble de données comprenant 33 000 segments vidéo extraits automatiquement et couvrant divers scénarios du monde réel. Nous explorons également une gamme de stratégies de réglage d'instructions vidéo pour étudier leurs effets sur le raisonnement temporel. Pour évaluer les progrès, nous introduisons FutureBench afin d'évaluer la cohérence dans la prédiction d'événements futurs inconnus. Les expériences valident que la NEP offre un paradigme d'entraînement scalable et efficace pour favoriser le raisonnement temporel dans les MLLM.

English

Next-token prediction serves as the foundational learning task enabling reasoning in LLMs. But what should the learning task be when aiming to equip MLLMs with temporal reasoning capabilities over video inputs? Existing tasks such as video question answering often rely on annotations from humans or much stronger MLLMs, while video captioning tends to entangle temporal reasoning with spatial information. To address this gap, we propose next-event prediction (NEP), a learning task that harnesses future video segments as a rich, self-supervised signal to foster temporal reasoning. We segment each video into past and future frames: the MLLM takes the past frames as input and predicts a summary of events derived from the future frames, thereby encouraging the model to reason temporally in order to complete the task. To support this task, we curate V1-33K, a dataset comprising 33,000 automatically extracted video segments spanning diverse real-world scenarios. We further explore a range of video instruction-tuning strategies to study their effects on temporal reasoning. To evaluate progress, we introduce FutureBench to assess coherence in predicting unseen future events. Experiments validate that NEP offers a scalable and effective training paradigm for fostering temporal reasoning in MLLMs.