Video-CoE: イベント連鎖による映像イベント予測の強化

Video-CoE: Reinforcing Video Event Prediction via Chain of Events

March 16, 2026

著者: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

cs.AI

要旨

MLLM（大規模言語モデル）の様々な動画タスクへの応用が進展しているにもかかわらず、動画イベント予測（VEP）は比較的未開拓の領域として残されています。VEPでは、モデルが動画の細粒度な時間的モデリングを実行し、動画と将来イベント間の論理的関係を確立する必要がありますが、現在のMLLMはこの点で依然として課題を抱えています。本研究ではまず、VEPタスクにおける現行の主要MLLMの包括的評価を提示し、将来イベント予測の論理的推論能力の欠如や視覚情報の不十分な活用など、予測が不正確になる原因を明らかにします。これらの課題に対処するため、我々はChain of Events（CoE）パラダイムを提案します。これは時間的イベント連鎖を構築することで、MLLMが暗黙的に視覚コンテンツと動画・将来イベント間の論理的関連性に注目することを促し、複数の訓練プロトコルによってモデルの推論能力を強化します。公開ベンチマークによる実験結果は、本手法がオープンソースおよび商用の主要MLLMを凌駕し、VEPタスクにおいて新たなstate-of-the-artを確立することを実証しています。コードとモデルは近日公開予定です。

English

Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.