Replanteando la Escalabilidad de RL para Modelos de Visión y Lenguaje: Un Marco Transparente desde Cero y un Esquema de Evaluación Integral

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Autores: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Resumen

El aprendizaje por refuerzo (RL, por sus siglas en inglés) ha demostrado recientemente un gran potencial para mejorar las capacidades de razonamiento de los modelos de lenguaje grandes y ahora se está extendiendo activamente a los modelos de visión y lenguaje (VLMs). Sin embargo, las aplicaciones existentes de RL en VLMs suelen depender de marcos altamente ingenierizados que dificultan la reproducibilidad y la accesibilidad, además de carecer de protocolos de evaluación estandarizados, lo que complica la comparación de resultados o la interpretación de las dinámicas de entrenamiento. Este trabajo introduce un marco transparente y desde cero para RL en VLMs, ofreciendo una canalización mínima pero funcional de cuatro pasos validada en múltiples modelos y conjuntos de datos. Además, se propone un esquema de evaluación estandarizado para analizar las dinámicas de entrenamiento y los comportamientos reflexivos. Experimentos exhaustivos en tareas de razonamiento visual revelan hallazgos empíricos clave: la longitud de las respuestas es sensible a las semillas aleatorias, la reflexión se correlaciona con la longitud de la salida, y el RL supera consistentemente el ajuste fino supervisado (SFT) en generalización, incluso con datos de alta calidad. Estos hallazgos, junto con el marco propuesto, tienen como objetivo establecer una línea base reproducible y fomentar una mayor participación en la investigación de VLMs basada en RL.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.