Переосмысление масштабирования обучения с подкреплением для моделей обработки зрения и языка: прозрачная, с нуля разработанная структура и всеобъемлющая схема оценки

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Авторы: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Аннотация

Обучение с подкреплением (RL) недавно продемонстрировало значительный потенциал в улучшении способностей к рассуждению у крупных языковых моделей и теперь активно распространяется на визуально-языковые модели (VLMs). Однако существующие применения RL в VLMs часто опираются на сложные, тщательно разработанные фреймворки, которые затрудняют воспроизводимость и доступность, а также отсутствие стандартизированных протоколов оценки, что делает сложным сравнение результатов или интерпретацию динамики обучения. В данной работе представлен прозрачный, созданный с нуля фреймворк для RL в VLMs, предлагающий минимальный, но функциональный четырехэтапный процесс, проверенный на множестве моделей и наборов данных. Кроме того, предложена стандартизированная схема оценки для анализа динамики обучения и рефлексивного поведения. Обширные эксперименты на задачах визуального рассуждения выявили ключевые эмпирические результаты: длина ответа чувствительна к случайным начальным значениям, рефлексия коррелирует с длиной вывода, а RL стабильно превосходит тонкую настройку с учителем (SFT) в обобщении, даже при использовании высококачественных данных. Эти результаты, вместе с предложенным фреймворком, направлены на создание воспроизводимой базовой линии и поддержку более широкого вовлечения в исследования VLMs на основе RL.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.