EasyVideoR1: Eenvoudigere Reinforcement Learning voor Video-inzicht
EasyVideoR1: Easier RL for Video Understanding
April 18, 2026
Auteurs: Chuanyu Qin, Chenxu Yang, Qingyi Si, Naibin Gu, Dingyu Yao, Zheng Lin, Peng Fu, Nan Duan, Jiaqi Wang
cs.AI
Samenvatting
Versterkend leren op basis van verifieerbare beloningen (RLVR) heeft opmerkelijke effectiviteit getoond bij het verbeteren van de redeneervermogens van grote taalmodel(len). Naarmate modellen evolueren naar native multimodale architecturen, wordt de uitbreiding van RLVR naar videobegrip steeds belangrijker, maar blijft dit grotendeels onontgonnen terrein. Dit komt door de diversiteit aan videotaaktypen, de rekenkundige overhead van herhaaldelijk decoderen en voorbewerken van hoogdimensionale visuele invoer, en de moeilijkheid van reproduceerbare evaluatie over talrijke gevoelige hyperparameters. Bestaande open-source RL-trainingsframeworks bieden een solide infrastructuur voor tekst- en beeldscenario's, maar missen systematische optimalisaties die zijn toegesneden op de videomodaliteit. In dit werk presenteren we EasyVideoR1, een compleet en efficiënt framework voor versterkend leren dat specifiek is ontworpen voor het trainen van grote visie-taalmodel(len) op videobegriptaken. EasyVideoR1 levert de volgende bijdragen: (1) een complete videotrainingspijplijn voor RL met offline voorbewerking en tensor-caching, die redundante videodecodering elimineert en een doorvoerverbetering van 1,47 keer oplevert; (2) een uitgebreid, taakbewust beloningssysteem dat 11 verschillende video- en beeldprobleemtypen dekt met uniforme routering en modulaire uitbreidingsmogelijkheden; (3) een gemengd offline-online datatrainingsparadigma dat samengestelde hoogwaardige trajecten combineert met on-policy exploratie, ten gunste van het aanleren van uitdagendere taken; (4) gezamenlijke beeld-video training met onafhankelijk configureerbare pixelbudgetten, waardoor de twee modaliteiten elkaar wederzijds kunnen versterken; en (5) een asynchroon multi-benchmark evaluatieframework dat 22 mainstream videobegripbenchmarks dekt, waarbij de gereproduceerde nauwkeurigheid nauw aansluit bij de officieel gerapporteerde scores.
English
Reinforcement learning from verifiable rewards (RLVR) has demonstrated remarkable effectiveness in improving the reasoning capabilities of large language models. As models evolve into natively multimodal architectures, extending RLVR to video understanding becomes increasingly important yet remains largely unexplored, due to the diversity of video task types, the computational overhead of repeatedly decoding and preprocessing high-dimensional visual inputs, and the difficulty of reproducible evaluation across numerous sensitive hyperparameters. Existing open-source RL training frameworks provide solid infrastructure for text and image scenarios but lack systematic optimizations tailored for video modality. In this work, we present EasyVideoR1, a complete and efficient reinforcement learning framework specifically designed for training large vision-language models on video understanding tasks. EasyVideoR1 makes the following contributions: (1) a full video RL training pipeline with offline preprocessing and tensor caching that eliminates redundant video decoding and yields a 1.47 times throughput improvement; (2) a comprehensive, task-aware reward system covering 11 distinct video and image problem types with unified routing and modular extension; (3) a mixed offline-online data training paradigm that combines curated high-quality trajectories with on-policy exploration, benefiting the learning of more challenging tasks; (4) joint image-video training with independently configurable pixel budgets, allowing the two modalities to mutually reinforce each other; and (5) an asynchronous multi-benchmark evaluation framework covering 22 mainstream video understanding benchmarks, with reproduced accuracy closely aligned with officially reported scores.