Video-CoE: Versterking van Video-gebeurtenisvoorspelling via Keten van Gebeurtenissen
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
March 16, 2026
Auteurs: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu
cs.AI
Samenvatting
Ondanks vooruitgang in de toepassing van MLLM's voor diverse videotaken, blijft video-eventvoorspelling (VEP) relatief onderbelicht. VEP vereist dat het model fijnmazige temporele modellering van video's uitvoert en logische relaties legt tussen video's en toekomstige gebeurtenissen, waar huidige MLLM's nog steeds moeite mee hebben. In dit werk presenteren we eerst een uitgebreide evaluatie van toonaangevende MLLM's voor de VEP-taak, waarbij de redenen achter hun onnauwkeurige voorspellingen worden blootgelegd, waaronder een gebrek aan logisch redeneervermogen voor het voorspellen van toekomstige gebeurtenissen en onvoldoende benutting van visuele informatie. Om deze uitdagingen aan te pakken, stellen we het Chain of Events (CoE)-paradigma voor, waarbij temporele gebeurtenisketens worden geconstrueerd om MLLM's impliciet te dwingen zich te concentreren op de visuele inhoud en de logische verbanden tussen video's en toekomstige gebeurtenissen, waardoor het redeneervermogen van het model wordt gestimuleerd met meerdere trainingsprotocollen. Experimentele resultaten op publieke benchmarks tonen aan dat onze methode zowel toonaangevende open-source als commerciële MLLM's overtreft en een nieuwe state-of-the-art vestigt voor de VEP-taak. Code en modellen zullen binnenkort worden vrijgegeven.
English
Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.