Neubewertung der Skalierung von Reinforcement Learning für Vision-Language-Modelle: Ein transparenter, von Grund auf entwickelter Rahmen und ein umfassendes Bewertungsschema

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Autoren: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Zusammenfassung

Reinforcement Learning (RL) hat kürzlich ein großes Potenzial bei der Verbesserung der Denkfähigkeiten großer Sprachmodelle gezeigt und wird nun aktiv auf Vision-Language-Modelle (VLMs) ausgeweitet. Allerdings basieren bestehende RL-Anwendungen in VLMs oft auf stark angepassten Frameworks, die die Reproduzierbarkeit und Zugänglichkeit behindern, während standardisierte Evaluierungsprotokolle fehlen, was den Vergleich von Ergebnissen oder die Interpretation von Trainingsdynamiken erschwert. Diese Arbeit stellt ein transparentes, von Grund auf entwickeltes Framework für RL in VLMs vor, das einen minimalen, aber funktionalen Vier-Schritte-Pipeline bietet, der über mehrere Modelle und Datensätze validiert wurde. Zusätzlich wird ein standardisiertes Bewertungsschema vorgeschlagen, um Trainingsdynamiken und reflektives Verhalten zu bewerten. Umfangreiche Experimente zu visuellen Denkaufgaben decken wichtige empirische Erkenntnisse auf: Die Antwortlänge ist empfindlich gegenüber Zufallsinitialisierungen, Reflexion korreliert mit der Ausgabelänge, und RL übertrifft durchgängig das Supervised Fine-Tuning (SFT) in der Generalisierung, selbst bei hochwertigen Daten. Diese Erkenntnisse, zusammen mit dem vorgeschlagenen Framework, zielen darauf ab, eine reproduzierbare Basis zu schaffen und eine breitere Beteiligung an der RL-basierten VLM-Forschung zu unterstützen.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.