Video-CoE: Stärkung der Videoveranstaltungsvorhersage durch Chain of Events
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
March 16, 2026
Autoren: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu
cs.AI
Zusammenfassung
Trotz der Fortschritte bei der Anwendung von MLLMs für verschiedene Videoaufgaben bleibt die Vorhersage von Videoreignissen (Video Event Prediction, VEP) relativ unerforscht. VEP erfordert, dass das Model eine feinkörnige zeitliche Modellierung von Videos durchführt und logische Beziehungen zwischen Videos und zukünftigen Ereignissen herstellt, womit aktuelle MLLMs nach wie vor Schwierigkeiten haben. In dieser Arbeit stellen wir zunächst eine umfassende Evaluierung aktueller führender MLLMs für die VEP-Aufgabe vor, die die Gründe für ihre ungenauen Vorhersagen aufdeckt, darunter mangelnde logische Schlussfolgerungsfähigkeit für die Vorhersage zukünftiger Ereignisse und unzureichende Nutzung visueller Informationen. Um diese Herausforderungen zu bewältigen, schlagen wir das Paradigma der Ereigniskette (Chain of Events, CoE) vor, das zeitliche Ereignisketten konstruiert, um MLLMs implizit zu zwingen, sich auf den visuellen Inhalt und die logischen Verbindungen zwischen Videos und zukünftigen Ereignissen zu konzentrieren und so die Schlussfolgerungsfähigkeit des Models mit mehreren Trainingsprotokollen zu fördern. Experimentelle Ergebnisse auf öffentlichen Benchmarks zeigen, dass unsere Methode sowohl führende Open-Source- als auch kommerzielle MLLMs übertrifft und einen neuen State-of-the-Art auf der VEP-Aufgabe etabliert. Codes und Modelle werden in Kürze veröffentlicht.
English
Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.