Video-CoE: Reforçando a Previsão de Eventos em Vídeo por meio da Cadeia de Eventos
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
March 16, 2026
Autores: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu
cs.AI
Resumo
Apesar dos avanços na aplicação de MLLMs para várias tarefas de vídeo, a previsão de eventos em vídeo (VEP) permanece relativamente pouco explorada. A VEP exige que o modelo realize uma modelagem temporal de granularidade fina dos vídeos e estabeleça relações lógicas entre os vídeos e eventos futuros, tarefas com as quais os MLLMs atuais ainda lutam. Neste trabalho, apresentamos primeiro uma avaliação abrangente dos principais MLLMs atuais na tarefa de VEP, revelando as razões por trás de suas previsões imprecisas, incluindo a falta de capacidade de raciocínio lógico para prever eventos futuros e a utilização insuficiente de informações visuais. Para enfrentar esses desafios, propomos o paradigma Cadeia de Eventos (CoE), que constrói cadeias temporais de eventos para impor implicitamente que o MLLM se concentre no conteúdo visual e nas conexões lógicas entre vídeos e eventos futuros, incentivando a capacidade de raciocínio do modelo com múltiplos protocolos de treinamento. Resultados experimentais em benchmarks públicos demonstram que nosso método supera tanto os MLLMs de código aberto líderes quanto os comerciais, estabelecendo um novo estado da arte na tarefa de VEP. Códigos e modelos serão divulgados em breve.
English
Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.