Repensando a Escalabilidade de RL para Modelos de Visão e Linguagem: Um Framework Transparente e do Zero com um Esquema de Avaliação Abrangente

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Autores: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Resumo

O aprendizado por reforço (RL) tem demonstrado recentemente um forte potencial para melhorar as capacidades de raciocínio de grandes modelos de linguagem e agora está sendo ativamente estendido para modelos de visão e linguagem (VLMs). No entanto, as aplicações existentes de RL em VLMs frequentemente dependem de estruturas altamente engenheiradas que dificultam a reprodutibilidade e a acessibilidade, além de carecerem de protocolos de avaliação padronizados, tornando difícil comparar resultados ou interpretar a dinâmica de treinamento. Este trabalho introduz uma estrutura transparente e do zero para RL em VLMs, oferecendo um pipeline mínimo, porém funcional, de quatro etapas, validado em vários modelos e conjuntos de dados. Além disso, é proposto um esquema de avaliação padronizado para analisar a dinâmica de treinamento e os comportamentos reflexivos. Experimentos extensos em tarefas de raciocínio visual revelam descobertas empíricas importantes: o comprimento da resposta é sensível a sementes aleatórias, a reflexão está correlacionada com o comprimento da saída, e o RL consistentemente supera o ajuste fino supervisionado (SFT) em generalização, mesmo com dados de alta qualidade. Essas descobertas, juntamente com a estrutura proposta, visam estabelecer uma linha de base reprodutível e apoiar um engajamento mais amplo na pesquisa de VLMs baseada em RL.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.