RubiCap: Aprendizagem por Reforço Guiada por Rúbrica para Legendagem Densa de Imagens
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
March 10, 2026
Autores: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu
cs.AI
Resumo
A descrição densa de imagens é crucial para o alinhamento multimodal no pré-treinamento visão-linguagem e na geração de texto para imagem, mas a escalabilidade de anotações de qualidade especializada é proibitivamente cara. Embora a descrição sintética via modelos fortes de visão-linguagem (VLMs) seja uma alternativa prática, a destilação supervisionada frequentemente produz diversidade limitada de saída e fraca generalização. O aprendizado por reforço (RL) poderia superar essas limitações, mas seus sucessos até agora concentram-se em domínios verificáveis que dependem de verificadores determinísticos – um luxo indisponível na descrição aberta. Nós abordamos este gargalo com o RubiCap, uma estrutura de RL inovadora que deriva sinais de recompensa granulares e específicos por amostra a partir de rubricas escritas por LLMs. O RubiCap primeiro monta um comitê diversificado de legendas candidatas, depois emprega um escritor de rubricas baseado em LLM para extrair pontos fortes consensuais e diagnosticar deficiências na política atual. Esses insights são convertidos em critérios de avaliação explícitos, permitindo que um juiz LLM decomponha a avaliação holística de qualidade e substitua recompensas escalares grosseiras por avaliações estruturadas e multifacetadas. Em extensos benchmarks, o RubiCap alcança as maiores taxas de sucesso no CapArena, superando a destilação supervisionada, métodos anteriores de RL, anotações de especialistas humanos e saídas aumentadas por GPT-4V. No CaptionQA, demonstra eficiência vocabular superior: nosso modelo de 7B equipara-se ao Qwen2.5-VL-32B-Instruct, e nosso modelo de 3B supera sua contraparte de 7B. Notavelmente, usar o compacto RubiCap-3B como descritor produz VLMs pré-treinados mais robustos do que aqueles treinados com legendas de modelos proprietários.
English
Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.