Heroverdenken van RL-schaling voor Vision Language Models: Een Transparant, Vanaf-Nul Framework en Uitgebreid Evaluatieschema

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Auteurs: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Samenvatting

Reinforcement learning (RL) heeft recentelijk sterk potentieel getoond in het verbeteren van de redeneervaardigheden van grote taalmodel(len) en wordt nu actief uitgebreid naar visueel-taalmodel(len) (VLMs). Bestaande RL-toepassingen in VLMs zijn echter vaak afhankelijk van zwaar geconstrueerde frameworks die reproduceerbaarheid en toegankelijkheid belemmeren, terwijl gestandaardiseerde evaluatieprotocollen ontbreken, wat het vergelijken van resultaten of het interpreteren van trainingsdynamieken bemoeilijkt. Dit werk introduceert een transparant, from-scratch framework voor RL in VLMs, dat een minimaal maar functioneel vierstappenpijplijn biedt, gevalideerd over meerdere modellen en datasets. Daarnaast wordt een gestandaardiseerd evaluatieschema voorgesteld om trainingsdynamieken en reflectief gedrag te beoordelen. Uitgebreide experimenten op visuele redeneertaken onthullen belangrijke empirische bevindingen: responslengte is gevoelig voor willekeurige seeds, reflectie correleert met uitvoerlengte, en RL presteert consistent beter dan supervised fine-tuning (SFT) in generalisatie, zelfs met hoogwaardige data. Deze bevindingen, samen met het voorgestelde framework, beogen een reproduceerbare basislijn te creëren en bredere betrokkenheid bij RL-gebaseerd VLM-onderzoek te ondersteunen.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.