MOSS-ChatV: Aprendizaje por Refuerzo con Recompensa de Razonamiento de Procesos para el Razonamiento Temporal en Videos

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

Autores: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

Resumen

El razonamiento en video ha surgido como una capacidad crítica para los modelos de lenguaje multimodal de gran escala (MLLMs), requiriendo que los modelos vayan más allá de la percepción estática hacia una comprensión coherente de las dinámicas temporales en escenas complejas. Sin embargo, los MLLMs existentes a menudo exhiben inconsistencia en el proceso, donde el razonamiento intermedio se desvía de las dinámicas del video incluso cuando la respuesta final es correcta, lo que socava la interpretabilidad y la robustez. Para abordar este problema, presentamos MOSS-ChatV, un marco de aprendizaje por refuerzo con una recompensa basada en Dynamic Time Warping (DTW). Esta recompensa basada en reglas alinea los trazos de razonamiento con referencias temporalmente fundamentadas, permitiendo una supervisión eficiente del proceso sin modelos de recompensa auxiliares. Además, identificamos la predicción de estados dinámicos como una medida clave del razonamiento en video y construimos MOSS-Video, un benchmark con trazos de razonamiento anotados, donde la división de entrenamiento se utiliza para ajustar MOSS-ChatV y la división reservada se utiliza para evaluación. MOSS-ChatV alcanza un 87.2\% en MOSS-Video (prueba) y mejora el rendimiento en benchmarks generales de video como MVBench y MMVU. El marco produce consistentemente mejoras en diferentes arquitecturas, incluyendo Qwen2.5-VL y Phi-2, confirmando su amplia aplicabilidad. Las evaluaciones con GPT-4o como juez muestran además que MOSS-ChatV produce trazos de razonamiento más consistentes y estables.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.