MOSS-ChatV: Reinforcement Learning met Procesredeneringsbeloning voor Temporele Redenering in Video's

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

Auteurs: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

Samenvatting

Video reasoning is naar voren gekomen als een cruciale vaardigheid voor multimodale grote taalmodellen (MLLMs), waarbij modellen verder moeten gaan dan statische perceptie naar een coherent begrip van temporele dynamiek in complexe scènes. Toch vertonen bestaande MLLMs vaak procesinconsistentie, waarbij het tussentijdse redeneren afwijkt van de videodynamiek, zelfs wanneer het uiteindelijke antwoord correct is, wat de interpreteerbaarheid en robuustheid ondermijnt. Om dit probleem aan te pakken, introduceren we MOSS-ChatV, een reinforcement learning-framework met een op Dynamic Time Warping (DTW) gebaseerde procesbeloning. Deze regelgebaseerde beloning zorgt ervoor dat redeneersporen worden afgestemd op temporeel verankerde referenties, waardoor efficiënte procesbegeleiding mogelijk wordt zonder aanvullende beloningsmodellen. We identificeren verder dynamische staatspredictie als een belangrijke maatstaf voor video reasoning en construeren MOSS-Video, een benchmark met geannoteerde redeneersporen, waarbij de trainingsset wordt gebruikt om MOSS-ChatV te finetunen en de gereserveerde set wordt gebruikt voor evaluatie. MOSS-ChatV behaalt 87,2\% op MOSS-Video (test) en verbetert de prestaties op algemene videobenchmarks zoals MVBench en MMVU. Het framework levert consistent verbeteringen op over verschillende architecturen, waaronder Qwen2.5-VL en Phi-2, wat de brede toepasbaarheid bevestigt. Evaluaties met GPT-4o-als-rechter tonen verder aan dat MOSS-ChatV meer consistente en stabiele redeneersporen produceert.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.