CapRL: Estimulación de Capacidades de Descripción Densa de Imágenes mediante Aprendizaje por Refuerzo

CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning

September 26, 2025

Autores: Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

cs.AI

Resumen

La generación de descripciones de imágenes es una tarea fundamental que conecta los dominios visual y lingüístico, desempeñando un papel crítico en el preentrenamiento de Modelos de Visión y Lenguaje de Gran Escala (LVLMs, por sus siglas en inglés). Los modelos de última generación para esta tarea suelen entrenarse mediante Ajuste Fino Supervisado (SFT, por sus siglas en inglés), un paradigma que depende de datos costosos y no escalables, anotados por humanos o modelos propietarios. Este enfoque a menudo resulta en modelos que memorizan respuestas específicas de referencia, limitando su generalidad y capacidad para generar descripciones diversas y creativas. Para superar las limitaciones del SFT, proponemos aplicar el paradigma de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) a la tarea abierta de generación de descripciones de imágenes. Sin embargo, un desafío principal es diseñar una función de recompensa objetiva para la naturaleza inherentemente subjetiva de lo que constituye una "buena" descripción. Introducimos Aprendizaje por Refuerzo para Descripciones (CapRL, por sus siglas en inglés), un marco de entrenamiento novedoso que redefine la calidad de una descripción a través de su utilidad: una descripción de alta calidad debería permitir que un modelo de lenguaje no visual responda con precisión preguntas sobre la imagen correspondiente. CapRL emplea una canalización desacoplada en dos etapas en la que un LVLM genera una descripción, y la recompensa objetiva se deriva de la precisión de un LLM separado, sin acceso visual, que responde preguntas de opción múltiple basándose únicamente en esa descripción. Como el primer estudio en aplicar RLVR a la tarea subjetiva de generación de descripciones de imágenes, demostramos que CapRL mejora significativamente múltiples configuraciones. El preentrenamiento en el conjunto de datos CapRL-5M, anotado por CapRL-3B, resulta en ganancias sustanciales en 12 puntos de referencia. Además, dentro del Marco Prism para la evaluación de la calidad de las descripciones, CapRL logra un rendimiento comparable a Qwen2.5-VL-72B, superando la línea base por un margen promedio del 8.4%. El código está disponible aquí: https://github.com/InternLM/CapRL.

English

Image captioning is a fundamental task that bridges the visual and linguistic domains, playing a critical role in pre-training Large Vision-Language Models (LVLMs). Current state-of-the-art captioning models are typically trained with Supervised Fine-Tuning (SFT), a paradigm that relies on expensive, non-scalable data annotated by humans or proprietary models. This approach often leads to models that memorize specific ground-truth answers, limiting their generality and ability to generate diverse, creative descriptions. To overcome the limitation of SFT, we propose applying the Reinforcement Learning with Verifiable Rewards (RLVR) paradigm to the open-ended task of image captioning. A primary challenge, however, is designing an objective reward function for the inherently subjective nature of what constitutes a "good" caption. We introduce Captioning Reinforcement Learning (CapRL), a novel training framework that redefines caption quality through its utility: a high-quality caption should enable a non-visual language model to accurately answer questions about the corresponding image. CapRL employs a decoupled two-stage pipeline where an LVLM generates a caption, and the objective reward is derived from the accuracy of a separate, vision-free LLM answering Multiple-Choice Questions based solely on that caption. As the first study to apply RLVR to the subjective image captioning task, we demonstrate that CapRL significantly enhances multiple settings. Pretraining on the CapRL-5M caption dataset annotated by CapRL-3B results in substantial gains across 12 benchmarks. Moreover, within the Prism Framework for caption quality evaluation, CapRL achieves performance comparable to Qwen2.5-VL-72B, while exceeding the baseline by an average margin of 8.4%. Code is available here: https://github.com/InternLM/CapRL.