EasyVideoR1: Упрощённое обучение с подкреплением для анализа видео

EasyVideoR1: Easier RL for Video Understanding

April 18, 2026

Авторы: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang

cs.AI

Аннотация

Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) продемонстрировало выдающуюся эффективность в улучшении способностей к рассуждению у больших языковых моделей. По мере того как модели эволюционируют в сторону изначально мультимодальных архитектур, расширение RLVR на понимание видео становится все более важной, но в значительной степени неисследованной задачей. Это связано с разнообразием типов видео-задач, вычислительными затратами на многократное декодирование и предварительную обработку высокоразмерных визуальных входных данных, а также со сложностью воспроизводимой оценки при наличии множества чувствительных гиперпараметров. Существующие фреймворки с открытым исходным кодом для RL-обучения предоставляют надежную инфраструктуру для текстовых и графических сценариев, но в них отсутствуют системные оптимизации, адаптированные specifically для видео-модальности. В данной работе мы представляем EasyVideoR1 — полный и эффективный фреймворк обучения с подкреплением, специально разработанный для тренировки больших визуально-языковых моделей на задачах понимания видео. EasyVideoR1 вносит следующий вклад: (1) полный конвейер RL-обучения на видео с автономной предобработкой и кешированием тензоров, который устраняет избыточное декодирование видео и обеспечивает увеличение пропускной способности в 1.47 раза; (2) комплексная, ориентированная на задачу система вознаграждений, охватывающая 11 различных типов видео- и изображенческих проблем с унифицированной маршрутизацией и модульной расширяемостью; (3) парадигма обучения на смешанных автономных и онлайн-данных, которая сочетает курированные высококачественные траектории с поиском на основе политики, что способствует обучению более сложным задачам; (4) совместное обучение на изображениях и видео с независимо настраиваемыми бюджетами пикселей, позволяющее двум модальностям взаимно усиливать друг друга; и (5) асинхронная система оценки по множеству бенчмарков, охватывающая 22 основных бенчмарка для понимания видео, с воспроизведенной точностью, близкой к официально заявленным результатам.

English

Reinforcement learning from verifiable rewards (RLVR) has demonstrated remarkable effectiveness in improving the reasoning capabilities of large language models. As models evolve into natively multimodal architectures, extending RLVR to video understanding becomes increasingly important yet remains largely unexplored, due to the diversity of video task types, the computational overhead of repeatedly decoding and preprocessing high-dimensional visual inputs, and the difficulty of reproducible evaluation across numerous sensitive hyperparameters. Existing open-source RL training frameworks provide solid infrastructure for text and image scenarios but lack systematic optimizations tailored for video modality. In this work, we present EasyVideoR1, a complete and efficient reinforcement learning framework specifically designed for training large vision-language models on video understanding tasks. EasyVideoR1 makes the following contributions: (1) a full video RL training pipeline with offline preprocessing and tensor caching that eliminates redundant video decoding and yields a 1.47 times throughput improvement; (2) a comprehensive, task-aware reward system covering 11 distinct video and image problem types with unified routing and modular extension; (3) a mixed offline-online data training paradigm that combines curated high-quality trajectories with on-policy exploration, benefiting the learning of more challenging tasks; (4) joint image-video training with independently configurable pixel budgets, allowing the two modalities to mutually reinforce each other; and (5) an asynchronous multi-benchmark evaluation framework covering 22 mainstream video understanding benchmarks, with reproduced accuracy closely aligned with officially reported scores.