Förderung von Videoverständnis durch Vorhersage des nächsten Ereignisses

Fostering Video Reasoning via Next-Event Prediction

May 28, 2025

Autoren: Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang

cs.AI

Zusammenfassung

Die Vorhersage des nächsten Tokens dient als grundlegende Lernaufgabe, die das Schließen in großen Sprachmodellen (LLMs) ermöglicht. Doch welche Lernaufgabe sollte es sein, wenn man Multimodale Sprachmodelle (MLLMs) mit Fähigkeiten zur zeitlichen Schlussfolgerung über Videoeingaben ausstatten möchte? Bestehende Aufgaben wie die Beantwortung von Videofragen stützen sich oft auf Annotationen von Menschen oder deutlich leistungsstärkeren MLLMs, während die Videobeschreibung dazu neigt, zeitliche Schlussfolgerungen mit räumlichen Informationen zu vermischen. Um diese Lücke zu schließen, schlagen wir die Vorhersage des nächsten Ereignisses (Next-Event Prediction, NEP) vor, eine Lernaufgabe, die zukünftige Videosegmente als reichhaltiges, selbstüberwachtes Signal nutzt, um zeitliches Schließen zu fördern. Wir unterteilen jedes Video in vergangene und zukünftige Frames: Das MLLM nimmt die vergangenen Frames als Eingabe und sagt eine Zusammenfassung der Ereignisse voraus, die aus den zukünftigen Frames abgeleitet werden, wodurch das Modell dazu angeregt wird, zeitlich zu schließen, um die Aufgabe zu erfüllen. Um diese Aufgabe zu unterstützen, haben wir V1-33K kuratiert, einen Datensatz, der 33.000 automatisch extrahierte Videosegmente umfasst, die vielfältige reale Szenarien abdecken. Wir untersuchen weiterhin eine Reihe von Video-Instruktions-Tuning-Strategien, um deren Auswirkungen auf das zeitliche Schließen zu untersuchen. Um den Fortschritt zu bewerten, führen wir FutureBench ein, um die Kohärenz bei der Vorhersage unbekannter zukünftiger Ereignisse zu bewerten. Experimente bestätigen, dass NEP ein skalierbares und effektives Trainingsparadigma bietet, um zeitliches Schließen in MLLMs zu fördern.

English

Next-token prediction serves as the foundational learning task enabling reasoning in LLMs. But what should the learning task be when aiming to equip MLLMs with temporal reasoning capabilities over video inputs? Existing tasks such as video question answering often rely on annotations from humans or much stronger MLLMs, while video captioning tends to entangle temporal reasoning with spatial information. To address this gap, we propose next-event prediction (NEP), a learning task that harnesses future video segments as a rich, self-supervised signal to foster temporal reasoning. We segment each video into past and future frames: the MLLM takes the past frames as input and predicts a summary of events derived from the future frames, thereby encouraging the model to reason temporally in order to complete the task. To support this task, we curate V1-33K, a dataset comprising 33,000 automatically extracted video segments spanning diverse real-world scenarios. We further explore a range of video instruction-tuning strategies to study their effects on temporal reasoning. To evaluate progress, we introduce FutureBench to assess coherence in predicting unseen future events. Experiments validate that NEP offers a scalable and effective training paradigm for fostering temporal reasoning in MLLMs.