RubiCap: Rubricum-geleide reinforcement learning voor dichte beeldbeschrijving

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

March 10, 2026

Auteurs: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

cs.AI

Samenvatting

Dichte beeldbeschrijving is cruciaal voor cross-modale afstemming bij vision-language voorafgaande training en tekst-naar-beeldgeneratie, maar het schalen van expertkwaliteit annotaties is prohibitief duur. Hoewel synthetische beschrijving via sterke vision-language modellen (VLM's) een praktisch alternatief is, leidt supervised distillatie vaak tot beperkte outputdiversiteit en zwakke generalisatie. Reinforcement learning (RL) zou deze beperkingen kunnen overwinnen, maar de successen waren tot nu toe geconcentreerd in verifieerbare domeinen die afhankelijk zijn van deterministische checkers – een luxe die niet beschikbaar is bij open-einde beschrijving. Wij adresseren dit knelpunt met RubiCap, een nieuw RL-framework dat fijnmazige, voorbeeld-specifieke beloningssignalen afleidt uit door LLM-geschreven rubrics. RubiCap assembleert eerst een divers comité van kandidaat-bijschriften, gebruikt vervolgens een LLM-rubricschrijver om consensussterktes te extraheren en tekortkomingen in het huidige beleid te diagnosticeren. Deze inzichten worden omgezet in expliciete evaluatiecriteria, waardoor een LLM-rechter de holistische kwaliteitsbeoordeling kan ontbinden en grove scalaire beloningen kan vervangen door gestructureerde, veelzijdige evaluaties. Over uitgebreide benchmarks behaalt RubiCap de hoogste winstratio's op CapArena, waarbij het supervised distillatie, eerdere RL-methoden, menselijk-expert annotaties en GPT-4V-versterkte outputs overtreft. Op CaptionQA toont het superieure woordefficiëntie: ons 7B-model evenaart Qwen2.5-VL-32B-Instruct, en ons 3B-model overtreft zijn 7B-tegenhanger. Opmerkelijk genoeg produceert het gebruik van de compacte RubiCap-3B als beschrijver sterkere vooraf getrainde VLM's dan die getraind op bijschriften van propriëtaire modellen.

English

Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.