MOSS-ChatV: Apprendimento per Rinforzo con Ricompensa basata sul Ragionamento Processuale per il Ragionamento Temporale nei Video

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

Autori: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

Abstract

Il ragionamento video è emerso come una capacità cruciale per i modelli linguistici multimodali di grandi dimensioni (MLLM), richiedendo ai modelli di andare oltre la percezione statica verso una comprensione coerente delle dinamiche temporali in scene complesse. Tuttavia, gli MLLM esistenti spesso mostrano incoerenza nel processo, dove il ragionamento intermedio si discosta dalle dinamiche video anche quando la risposta finale è corretta, minando l'interpretabilità e la robustezza. Per affrontare questo problema, introduciamo MOSS-ChatV, un framework di apprendimento per rinforzo con una ricompensa basata sul Dynamic Time Warping (DTW). Questa ricompensa basata su regole allinea le tracce di ragionamento con riferimenti temporalmente ancorati, consentendo una supervisione efficiente del processo senza modelli di ricompensa ausiliari. Identifichiamo inoltre la previsione dinamica dello stato come una misura chiave del ragionamento video e costruiamo MOSS-Video, un benchmark con tracce di ragionamento annotate, dove la divisione di addestramento è utilizzata per affinare MOSS-ChatV e la divisione di valutazione è riservata per la valutazione. MOSS-ChatV raggiunge l'87,2\% su MOSS-Video (test) e migliora le prestazioni su benchmark video generali come MVBench e MMVU. Il framework produce guadagni consistenti su diverse architetture, tra cui Qwen2.5-VL e Phi-2, confermandone l'ampia applicabilità. Le valutazioni con GPT-4o come giudice mostrano inoltre che MOSS-ChatV produce tracce di ragionamento più coerenti e stabili.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.