Repenser la mise à l'échelle de l'apprentissage par renforcement pour les modèles vision-langage : un cadre transparent, conçu à partir de zéro et un schéma d'évaluation complet

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Auteurs: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Résumé

L'apprentissage par renforcement (RL) a récemment démontré un fort potentiel pour améliorer les capacités de raisonnement des grands modèles de langage et est désormais activement étendu aux modèles vision-langage (VLMs). Cependant, les applications existantes du RL dans les VLMs reposent souvent sur des cadres fortement ingénierisés qui entravent la reproductibilité et l'accessibilité, tout en manquant de protocoles d'évaluation standardisés, rendant difficile la comparaison des résultats ou l'interprétation des dynamiques d'apprentissage. Ce travail introduit un cadre transparent et construit à partir de zéro pour le RL dans les VLMs, proposant un pipeline minimal mais fonctionnel en quatre étapes validé sur plusieurs modèles et ensembles de données. En outre, un schéma d'évaluation standardisé est proposé pour évaluer les dynamiques d'apprentissage et les comportements réflexifs. Des expériences approfondies sur des tâches de raisonnement visuel révèlent des découvertes empiriques clés : la longueur des réponses est sensible aux graines aléatoires, la réflexion est corrélée à la longueur des sorties, et le RL surpasse systématiquement le réglage supervisé (SFT) en termes de généralisation, même avec des données de haute qualité. Ces découvertes, ainsi que le cadre proposé, visent à établir une base reproductible et à soutenir un engagement plus large dans la recherche sur les VLMs basés sur le RL.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.