EasyVideoR1: Einfacheres Reinforcement Learning für das Videoverständnis
EasyVideoR1: Easier RL for Video Understanding
April 18, 2026
Autoren: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang
cs.AI
Zusammenfassung
Reinforcement Learning aus verifizierbaren Belohnungen (RLVR) hat eine bemerkenswerte Wirksamkeit bei der Verbesserung der Reasoning-Fähigkeiten großer Sprachmodelle gezeigt. Da sich Modelle zu nativ multimodalen Architekturen weiterentwickeln, wird die Erweiterung von RLVR auf das Videoverständnis immer wichtiger, ist jedoch weitgehend unerforscht geblieben. Dies liegt an der Vielfalt der Videoaufgabentypen, dem Rechenaufwand für das wiederholte Decodieren und Vorverarbeiten hochdimensionaler visueller Eingaben sowie der Schwierigkeit einer reproduzierbaren Evaluierung über zahlreiche sensible Hyperparameter hinweg. Bestehende Open-Source-RL-Trainingsframeworks bieten eine solide Infrastruktur für Text- und Bildszenarien, es fehlen ihnen jedoch systematische Optimierungen, die speziell auf die Video-Modalität zugeschnitten sind. In dieser Arbeit stellen wir EasyVideoR1 vor, ein vollständiges und effizientes Reinforcement-Learning-Framework, das speziell für das Training großer Vision-Language-Modelle an Videoverständnisaufgaben entwickelt wurde. EasyVideoR1 leistet die folgenden Beiträge: (1) eine vollständige Video-RL-Trainingspipeline mit Offline-Vorverarbeitung und Tensor-Caching, die redundantes Video-Decodieren eliminiert und einen Durchsatzgewinn um das 1,47-fache erzielt; (2) ein umfassendes, aufgabenbewusstes Belohnungssystem, das 11 verschiedene Video- und Bildproblemtypen mit einheitlichem Routing und modularer Erweiterbarkeit abdeckt; (3) ein gemischtes Offline-Online-Datentraining, das kuratierte hochwertige Trajektorien mit On-Policy-Exploration kombiniert, was das Lernen anspruchsvollerer Aufgaben begünstigt; (4) gemeinsames Bild-Video-Training mit unabhängig konfigurierbaren Pixel-Budgets, das es beiden Modalitäten ermöglicht, sich gegenseitig zu verstärken; und (5) ein asynchrones Multi-Benchmark-Evaluierungsframework, das 22 Mainstream-Videoverständnis-Benchmarks abdeckt und dessen reproduzierte Genauigkeit eng mit den offiziell berichteten Scores übereinstimmt.
English
Reinforcement learning from verifiable rewards (RLVR) has demonstrated remarkable effectiveness in improving the reasoning capabilities of large language models. As models evolve into natively multimodal architectures, extending RLVR to video understanding becomes increasingly important yet remains largely unexplored, due to the diversity of video task types, the computational overhead of repeatedly decoding and preprocessing high-dimensional visual inputs, and the difficulty of reproducible evaluation across numerous sensitive hyperparameters. Existing open-source RL training frameworks provide solid infrastructure for text and image scenarios but lack systematic optimizations tailored for video modality. In this work, we present EasyVideoR1, a complete and efficient reinforcement learning framework specifically designed for training large vision-language models on video understanding tasks. EasyVideoR1 makes the following contributions: (1) a full video RL training pipeline with offline preprocessing and tensor caching that eliminates redundant video decoding and yields a 1.47 times throughput improvement; (2) a comprehensive, task-aware reward system covering 11 distinct video and image problem types with unified routing and modular extension; (3) a mixed offline-online data training paradigm that combines curated high-quality trajectories with on-policy exploration, benefiting the learning of more challenging tasks; (4) joint image-video training with independently configurable pixel budgets, allowing the two modalities to mutually reinforce each other; and (5) an asynchronous multi-benchmark evaluation framework covering 22 mainstream video understanding benchmarks, with reproduced accuracy closely aligned with officially reported scores.