MOSS-ChatV: Обучение с подкреплением с использованием награды за процесс рассуждений для временного анализа видео

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

September 25, 2025

Авторы: Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

cs.AI

Аннотация

Видео-рассуждение стало критически важной способностью для мультимодальных больших языковых моделей (MLLMs), требующей от моделей выхода за рамки статического восприятия к связному пониманию временной динамики в сложных сценах. Однако существующие MLLMs часто демонстрируют несогласованность процесса, когда промежуточные рассуждения отклоняются от динамики видео, даже если конечный ответ правильный, что подрывает интерпретируемость и устойчивость. Для решения этой проблемы мы представляем MOSS-ChatV, фреймворк с обучением с подкреплением, использующий награду на основе динамического выравнивания временных рядов (DTW). Это правило-ориентированное вознаграждение согласует траектории рассуждений с временно закрепленными эталонами, обеспечивая эффективный контроль процесса без дополнительных моделей вознаграждения. Мы также определяем прогнозирование динамического состояния как ключевой показатель видео-рассуждения и создаем MOSS-Video, бенчмарк с аннотированными траекториями рассуждений, где обучающая часть используется для тонкой настройки MOSS-ChatV, а тестовая часть оставлена для оценки. MOSS-ChatV достигает 87,2\% на MOSS-Video (тест) и улучшает производительность на общих видео-бенчмарках, таких как MVBench и MMVU. Фреймворк стабильно обеспечивает улучшения на различных архитектурах, включая Qwen2.5-VL и Phi-2, подтверждая его широкую применимость. Оценки с использованием GPT-4o в качестве судьи дополнительно показывают, что MOSS-ChatV генерирует более согласованные и стабильные траектории рассуждений.

English

Video reasoning has emerged as a critical capability for multimodal large language models (MLLMs), requiring models to move beyond static perception toward coherent understanding of temporal dynamics in complex scenes. Yet existing MLLMs often exhibit process inconsistency, where intermediate reasoning drifts from video dynamics even when the final answer is correct, undermining interpretability and robustness. To address this issue, we introduce MOSS-ChatV, a reinforcement learning framework with a Dynamic Time Warping (DTW)-based process reward. This rule-based reward aligns reasoning traces with temporally grounded references, enabling efficient process supervision without auxiliary reward models. We further identify dynamic state prediction as a key measure of video reasoning and construct MOSS-Video, a benchmark with annotated reasoning traces, where the training split is used to fine-tune MOSS-ChatV and the held-out split is reserved for evaluation. MOSS-ChatV achieves 87.2\% on MOSS-Video (test) and improves performance on general video benchmarks such as MVBench and MMVU. The framework consistently yields gains across different architectures, including Qwen2.5-VL and Phi-2, confirming its broad applicability. Evaluations with GPT-4o-as-judge further show that MOSS-ChatV produces more consistent and stable reasoning traces.