RubiCap: Apprendimento per Rinforzo Guidato da Rubrica per la Generazione Densa di Didascalie Immagini

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

March 10, 2026

Autori: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

cs.AI

Abstract

La descrizione densa di immagini è fondamentale per l'allineamento cross-modale nel pre-addestramento visione-linguaggio e nella generazione di immagini da testo, ma la scalabilità di annotazioni di qualità esperta è proibitivamente costosa. Sebbene la descrizione sintetica tramite modelli visione-linguaggio (VLM) potenti rappresenti un'alternativa pratica, la distillazione supervisionata spesso produce una diversità di output limitata e una generalizzazione debole. L'apprendimento per rinforzo (RL) potrebbe superare questi limiti, ma i suoi successi finora si sono concentrati in domini verificabili che si basano su controllori deterministici – un lusso non disponibile nella descrizione open-ended. Affrontiamo questo collo di bottiglia con RubiCap, un innovativo framework RL che deriva segnali di ricompensa granulari e specifici per campione da rubriche scritte da LLM. RubiCap prima assembla un comitato diversificato di descrizioni candidate, poi impiega un generatore di rubriche basato su LLM per estrarre punti di forza condivisi e diagnosticare carenze nella politica corrente. Queste intuizioni vengono convertite in criteri di valutazione espliciti, consentendo a un giudice LLM di scomporre la valutazione qualitativa olistica e sostituire le ricompense scalari grossolane con valutazioni strutturate e multifaccettate. In estesi benchmark, RubiCap raggiunge i tassi di vittoria più alti su CapArena, superando la distillazione supervisionata, i metodi RL precedenti, le annotazioni di esperti umani e gli output potenziati da GPT-4V. Su CaptionQA, dimostra un'efficienza lessicale superiore: il nostro modello da 7B eguaglia Qwen2.5-VL-32B-Instruct, e il nostro modello da 3B supera la sua controparte da 7B. Notevolmente, l'uso del compatto RubiCap-3B come descrittore produce VLM pre-addestrati più robusti di quelli addestrati su descrizioni provenienti da modelli proprietari.

English

Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.