RubiCap : Apprentissage par Renforcement Guidé par Rubrique pour la Légendage Dense d'Images
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
March 10, 2026
Auteurs: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu
cs.AI
Résumé
La génération dense de descriptions d'images est essentielle pour l'alignement intermodal dans le pré-entraînement vision-langage et la génération d'images à partir de texte, mais la mise à l'échelle des annotations de qualité experte est prohibitivement coûteuse. Si la génération synthétique de descriptions via des modèles vision-langage (VLM) performants constitue une alternative pratique, la distillation supervisée produit souvent une diversité de sorties limitée et une faible généralisation. L'apprentissage par renforcement (RL) pourrait surmonter ces limitations, mais ses succès se sont jusqu'ici concentrés dans des domaines vérifiables s'appuyant sur des vérificateurs déterministes – un luxe indisponible pour la description ouverte. Nous abordons ce goulot d'étranglement avec RubiCap, un nouveau cadre RL qui tire des signaux de récompense granulaires et spécifiques à chaque échantillon de grilles d'évaluation rédigées par des LLM. RubiCap assemble d'abord un comité diversifié de descriptions candidates, puis emploie un rédacteur de grille LLM pour extraire les points forts consensuels et diagnostiquer les carences de la politique actuelle. Ces insights sont convertis en critères d'évaluation explicites, permettant à un juge LLM de décomposer l'évaluation qualitative holistique et de remplacer les récompenses scalaires grossières par des évaluations structurées et multidimensionnelles. Sur de nombreux benchmarks, RubiCap atteint les taux de victoire les plus élevés sur CapArena, surpassant la distillation supervisée, les méthodes RL antérieures, les annotations d'experts humains et les sorties augmentées par GPT-4V. Sur CaptionQA, il démontre une efficacité lexicale supérieure : notre modèle 7B égale Qwen2.5-VL-32B-Instruct, et notre modèle 3B surpasse son homologue 7B. Fait remarquable, l'utilisation du compact RubiCap-3B comme générateur de descriptions produit des VLM pré-entraînés plus performants que ceux entraînés sur des descriptions issues de modèles propriétaires.
English
Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.