RubiCap: Rubibenutzung-gesteuertes bestärkendes Lernen für dichte Bildbeschreibung
RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning
March 10, 2026
Autoren: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu
cs.AI
Zusammenfassung
Dichte Bildbeschriftung ist entscheidend für die cross-modale Ausrichtung im Vision-Language-Pre-training und der Text-zu-Bild-Generierung, doch die Skalierung von Expert:innen-Annotationen ist prohibitiv teuer. Während die synthetische Beschriftung mittels starker Vision-Language-Modelle (VLMs) eine praktische Alternative darstellt, führt überwachte Distillation oft zu begrenzter Ausgabevielfalt und schwacher Generalisierung. Reinforcement Learning (RL) könnte diese Grenzen überwinden, doch seine Erfolge konzentrierten sich bisher auf verifizierbare Domänen, die auf deterministischen Prüfverfahren basieren – ein Luxus, der bei offener Beschriftung nicht verfügbar ist. Wir adressieren diesen Engpass mit RubiCap, einem neuartigen RL-Framework, das feingranulare, exemplarspezifische Belohnungssignale aus LLM-geschriebenen Bewertungsrubriken ableitet. RubiCap assembliert zunächst ein diverses Komitee von Kandidaten-Beschreibungen, nutzt dann einen LLM-Rubrikenschreiber, um konsistente Stärken zu extrahieren und Defizite der aktuellen Policy zu diagnostizieren. Diese Erkenntnisse werden in explizite Bewertungskriterien überführt, wodurch ein LLM-Bewerter in die Lage versetzt wird, holistische Qualitätsbewertungen zu zerlegen und grobe skalare Belohnungen durch strukturierte, mehrdimensionale Evaluationen zu ersetzen. In umfangreichen Benchmarks erzielt RubiCap die höchsten Gewinnraten auf CapArena und übertrifft dabei überwachte Distillation, frühere RL-Methoden, menschliche Expert:innen-Annotationen und GPT-4V-erweiterte Ausgaben. Auf CaptionQA demonstriert es überlegene Worteffizienz: Unser 7B-Modell erreicht das Niveau von Qwen2.5-VL-32B-Instruct, und unser 3B-Modell übertrifft sein 7B-Pendant. Bemerkenswerterweise erzeugt der Einsatz des kompakten RubiCap-3B als Beschriftungsmodell leistungsfähigere vortrainierte VLMs als jene, die mit Beschriftungen proprietärer Modelle trainiert wurden.
English
Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.