MOSS-ChatV: 비디오 시간적 추론을 위한 프로세스 추론 보상을 활용한 강화 학습

초록

비디오 추론은 멀티모달 대형 언어 모델(MLLMs)의 핵심 능력으로 부상하며, 모델이 정적인 인식을 넘어 복잡한 장면의 시간적 동역학을 일관되게 이해할 것을 요구합니다. 그러나 기존 MLLMs는 종종 프로세스 불일치를 보이는데, 이는 최종 답변이 정확하더라도 중간 추론이 비디오 동역학에서 벗어나 해석 가능성과 견고성을 약화시키는 현상입니다. 이 문제를 해결하기 위해, 우리는 동적 시간 왜곡(DTW) 기반 프로세스 보상을 갖춘 강화 학습 프레임워크인 MOSS-ChatV를 소개합니다. 이 규칙 기반 보상은 추론 흔적을 시간적으로 근거 있는 참조와 일치시켜, 보조 보상 모델 없이도 효율적인 프로세스 감독을 가능하게 합니다. 또한, 우리는 동적 상태 예측을 비디오 추론의 핵심 척도로 식별하고, 주석이 달린 추론 흔적을 포함한 벤치마크인 MOSS-Video를 구축했습니다. 여기서 훈련 세트는 MOSS-ChatV를 미세 조정하는 데 사용되고, 보류된 세트는 평가를 위해 예약됩니다. MOSS-ChatV는 MOSS-Video(테스트)에서 87.2%를 달성하고, MVBench 및 MMVU와 같은 일반 비디오 벤치마크에서도 성능을 향상시킵니다. 이 프레임워크는 Qwen2.5-VL 및 Phi-2를 포함한 다양한 아키텍처에서 일관되게 성능 향상을 보여주며, 그 광범위한 적용 가능성을 확인합니다. GPT-4o-as-judge를 사용한 평가는 MOSS-ChatV가 더 일관되고 안정적인 추론 흔적을 생성한다는 것을 추가로 보여줍니다.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.

MOSS-ChatV: 비디오 시간적 추론을 위한 프로세스 추론 보상을 활용한 강화 학습

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

초록

Support