Video-CoE : Renforcement de la prédiction d'événements vidéo via une chaîne d'événements

Video-CoE: Reinforcing Video Event Prediction via Chain of Events

March 16, 2026

Auteurs: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

cs.AI

Résumé

Malgré les progrès dans l'application des MLLM (Modèles de Langage Multimodaux) pour diverses tâches vidéo, la prédiction d'événements vidéo (VEP) reste relativement peu explorée. La VEP nécessite que le modèle effectue une modélisation temporelle fine des vidéos et établisse des relations logiques entre les vidéos et les événements futurs, ce avec quoi les MLLM actuels éprouvent encore des difficultés. Dans ce travail, nous présentons d'abord une évaluation complète des MLLM leaders actuels sur la tâche de VEP, révélant les raisons de leurs prédictions inexactes, notamment le manque de capacité de raisonnement logique pour la prédiction d'événements futurs et une utilisation insuffisante de l'information visuelle. Pour relever ces défis, nous proposons le paradigme de la Chaîne d'Événements (CoE), qui construit des chaînes d'événements temporelles pour contraindre implicitement le MLLM à se concentrer sur le contenu visuel et les connexions logiques entre les vidéos et les événements futurs, stimulant ainsi la capacité de raisonnement du modèle via plusieurs protocoles d'entraînement. Les résultats expérimentaux sur des benchmarks publics démontrent que notre méthode surpasse à la fois les MLLM open-source leaders et les MLLM commerciaux, établissant un nouvel état de l'art sur la tâche de VEP. Les codes et les modèles seront bientôt publiés.

English

Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.