MOSS-ChatV: Verstärkungslernen mit Prozessdenken-Belohnung für zeitliche Schlussfolgerungen in Videos

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

papers.authors: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

papers.abstract

Video Reasoning hat sich als entscheidende Fähigkeit für multimodale große Sprachmodelle (MLLMs) herausgestellt, wobei Modelle über die statische Wahrnehmung hinausgehen und ein kohärentes Verständnis der zeitlichen Dynamik in komplexen Szenen entwickeln müssen. Dennoch zeigen bestehende MLLMs oft Prozessinkonsistenzen, bei denen das Zwischenreasoning von der Videodynamik abweicht, selbst wenn die endgültige Antwort korrekt ist, was die Interpretierbarkeit und Robustheit untergräbt. Um dieses Problem zu lösen, stellen wir MOSS-ChatV vor, ein Reinforcement-Learning-Framework mit einem prozessbasierten Reward, der auf Dynamic Time Warping (DTW) basiert. Dieser regelbasierte Reward richtet Reasoning-Traces an zeitlich verankerten Referenzen aus und ermöglicht so eine effiziente Prozessüberwachung ohne zusätzliche Reward-Modelle. Wir identifizieren weiterhin die dynamische Zustandsvorhersage als zentrales Maß für Video Reasoning und entwickeln MOSS-Video, einen Benchmark mit annotierten Reasoning-Traces, bei dem der Trainingssplit zur Feinabstimmung von MOSS-ChatV verwendet wird und der zurückgehaltene Split für die Evaluation reserviert ist. MOSS-ChatV erreicht 87,2 % auf MOSS-Video (Test) und verbessert die Leistung auf allgemeinen Video-Benchmarks wie MVBench und MMVU. Das Framework erzielt konsistent Gewinne über verschiedene Architekturen hinweg, einschließlich Qwen2.5-VL und Phi-2, was seine breite Anwendbarkeit bestätigt. Bewertungen mit GPT-4o-as-Judge zeigen weiterhin, dass MOSS-ChatV konsistentere und stabilere Reasoning-Traces erzeugt.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.