Video-CoE: Усиление прогнозирования событий на видео с помощью цепи событий
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
March 16, 2026
Авторы: Qile Su, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu
cs.AI
Аннотация
Несмотря на прогресс в применении мультимодальных языковых моделей (MLLM) для различных задач обработки видео, прогнозирование видеособытий (Video Event Prediction, VEP) остается относительно малоизученной областью. VEP требует от модели проведения тонкого временного моделирования видео и установления логических взаимосвязей между видео и будущими событиями, с чем современные MLLM по-прежнему справляются плохо. В данной работе мы сначала представляем всестороннюю оценку современных ведущих MLLM на задаче VEP, выявляя причины их неточных прогнозов, включая недостаток способности к логическому рассуждению для предсказания будущих событий и недостаточное использование визуальной информации. Для решения этих проблем мы предлагаем парадигму «Цепочка событий» (Chain of Events, CoE), которая строит временные цепочки событий, чтобы неявно заставить MLLM концентрироваться на визуальном содержании и логических связях между видео и будущими событиями, стимулируя способности модели к рассуждению с помощью нескольких протоколов обучения. Результаты экспериментов на публичных бенчмарках демонстрируют, что наш метод превосходит как ведущие открытые, так и коммерческие MLLM, устанавливая новый state-of-the-art в задаче VEP. Код и модели будут скоро выпущены.
English
Despite advances in the application of MLLMs for various video tasks, video event prediction (VEP) remains relatively underexplored. VEP requires the model to perform fine-grained temporal modeling of videos and establish logical relationships between videos and future events, which current MLLMs still struggle with. In this work, we first present a comprehensive evaluation of current leading MLLMs on the VEP task, revealing the reasons behind their inaccurate predictions, including lack of logical reasoning ability for future events prediction and insufficient utilization of visual information. To address these challenges, we propose Chain of Events (CoE) paradigm, which constructs temporal event chains to implicitly enforce MLLM focusing on the visual content and the logical connections between videos and future events, incentivizing model's reasoning capability with multiple training protocols. Experimental results on public benchmarks demonstrate that our method outperforms both leading open-source and commercial MLLMs, establishing a new state-of-the-art on the VEP task. Codes and models will be released soon.