CapRL: Развитие способностей к генерации плотных описаний изображений с помощью обучения с подкреплением

CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning

September 26, 2025

Авторы: Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

cs.AI

Аннотация

Генерация подписей к изображениям — это фундаментальная задача, которая связывает визуальную и языковую области, играя ключевую роль в предварительном обучении крупных визуально-языковых моделей (LVLMs). Современные модели генерации подписей обычно обучаются с использованием метода Supervised Fine-Tuning (SFT), который опирается на дорогостоящие и не масштабируемые данные, аннотированные людьми или проприетарными моделями. Такой подход часто приводит к тому, что модели запоминают конкретные правильные ответы, что ограничивает их обобщающую способность и возможность создавать разнообразные и креативные описания. Чтобы преодолеть ограничения SFT, мы предлагаем применить парадигму Reinforcement Learning with Verifiable Rewards (RLVR) к открытой задаче генерации подписей к изображениям. Однако основная сложность заключается в разработке объективной функции вознаграждения для субъективной природы того, что считается "хорошей" подписью. Мы представляем Captioning Reinforcement Learning (CapRL) — новый фреймворк обучения, который переопределяет качество подписи через её полезность: качественная подпись должна позволять невизуальной языковой модели точно отвечать на вопросы о соответствующем изображении. CapRL использует двухэтапный декомпозированный процесс, в котором LVLM генерирует подпись, а объективное вознаграждение вычисляется на основе точности отдельной, не использующей визуальные данные LLM, отвечающей на вопросы с множественным выбором, основываясь исключительно на этой подписи. Будучи первым исследованием, применяющим RLVR к субъективной задаче генерации подписей, мы демонстрируем, что CapRL значительно улучшает результаты в различных настройках. Предварительное обучение на наборе данных CapRL-5M, аннотированном с помощью CapRL-3B, приводит к существенному улучшению на 12 бенчмарках. Более того, в рамках Prism Framework для оценки качества подписей CapRL достигает производительности, сопоставимой с Qwen2.5-VL-72B, при этом превосходя базовый уровень в среднем на 8,4%. Код доступен по ссылке: https://github.com/InternLM/CapRL.

English

Image captioning is a fundamental task that bridges the visual and linguistic domains, playing a critical role in pre-training Large Vision-Language Models (LVLMs). Current state-of-the-art captioning models are typically trained with Supervised Fine-Tuning (SFT), a paradigm that relies on expensive, non-scalable data annotated by humans or proprietary models. This approach often leads to models that memorize specific ground-truth answers, limiting their generality and ability to generate diverse, creative descriptions. To overcome the limitation of SFT, we propose applying the Reinforcement Learning with Verifiable Rewards (RLVR) paradigm to the open-ended task of image captioning. A primary challenge, however, is designing an objective reward function for the inherently subjective nature of what constitutes a "good" caption. We introduce Captioning Reinforcement Learning (CapRL), a novel training framework that redefines caption quality through its utility: a high-quality caption should enable a non-visual language model to accurately answer questions about the corresponding image. CapRL employs a decoupled two-stage pipeline where an LVLM generates a caption, and the objective reward is derived from the accuracy of a separate, vision-free LLM answering Multiple-Choice Questions based solely on that caption. As the first study to apply RLVR to the subjective image captioning task, we demonstrate that CapRL significantly enhances multiple settings. Pretraining on the CapRL-5M caption dataset annotated by CapRL-3B results in substantial gains across 12 benchmarks. Moreover, within the Prism Framework for caption quality evaluation, CapRL achieves performance comparable to Qwen2.5-VL-72B, while exceeding the baseline by an average margin of 8.4%. Code is available here: https://github.com/InternLM/CapRL.