MOSS-ChatV: Aprendizado por Reforço com Recompensa de Raciocínio Processual para Raciocínio Temporal em Vídeos

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

Autores: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

Resumo

O raciocínio em vídeo emergiu como uma capacidade crítica para modelos de linguagem multimodal de grande escala (MLLMs), exigindo que os modelos vão além da percepção estática em direção a uma compreensão coerente da dinâmica temporal em cenas complexas. No entanto, os MLLMs existentes frequentemente exibem inconsistência de processo, onde o raciocínio intermediário se desvia da dinâmica do vídeo, mesmo quando a resposta final está correta, comprometendo a interpretabilidade e a robustez. Para abordar essa questão, introduzimos o MOSS-ChatV, um framework de aprendizado por reforço com uma recompensa de processo baseada em Dynamic Time Warping (DTW). Essa recompensa baseada em regras alinha os traços de raciocínio com referências temporalmente fundamentadas, permitindo supervisão eficiente do processo sem modelos de recompensa auxiliares. Além disso, identificamos a previsão de estado dinâmico como uma medida-chave do raciocínio em vídeo e construímos o MOSS-Video, um benchmark com traços de raciocínio anotados, onde a divisão de treinamento é usada para ajustar o MOSS-ChatV e a divisão reservada é mantida para avaliação. O MOSS-ChatV alcança 87,2\% no MOSS-Video (teste) e melhora o desempenho em benchmarks gerais de vídeo, como MVBench e MMVU. O framework consistentemente gera ganhos em diferentes arquiteturas, incluindo Qwen2.5-VL e Phi-2, confirmando sua ampla aplicabilidade. Avaliações com GPT-4o como juiz mostram ainda que o MOSS-ChatV produz traços de raciocínio mais consistentes e estáveis.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.