RubiCap: Обучение с подкреплением на основе рубрик для плотного описания изображений

RubiCap: Rubric-Guided Reinforcement Learning for Dense Image Captioning

March 10, 2026

Авторы: Tzu-Heng Huang, Sirajul Salekin, Javier Movellan, Frederic Sala, Manjot Bilkhu

cs.AI

Аннотация

Плотное описание изображений играет ключевую роль в кросс-модальном согласовании при предварительном обучении моделей «визуальный язык» и генерации изображений по тексту, однако масштабирование экспертных аннотаций оказывается чрезмерно дорогостоящим. Хотя синтетическое описание с помощью мощных моделей «визуальный язык» (VLMs) представляет собой практическую альтернативу, контролируемое дистилляционное обучение часто приводит к ограниченному разнообразию выходных данных и слабой обобщающей способности. Обучение с подкреплением (RL) могло бы преодолеть эти ограничения, но его успехи до сих пор были сосредоточены в верифицируемых областях, опирающихся на детерминированные проверяющие системы — роскошь, недоступная для открытого описания. Мы устраняем это узкое место с помощью RubiCap, новой RL-архитектуры, которая извлекает детализированные, специфичные для выборки сигналы вознаграждения из рубрик, составленных большими языковыми моделями (LLM). Сначала RubiCap формирует разнообразный комитет кандидатных описаний, затем использует LLM-составитель рубрик для выявления сильных сторон консенсуса и диагностики недостатков текущей политики. Эти данные преобразуются в явные критерии оценки, позволяя LLM-субъекту декомпозировать холистическую оценку качества и заменять грубые скалярные вознаграждения структурированными, многогранными оценками. В обширных тестах RubiCap демонстрирует наивысшие показатели успеха на CapArena, превосходя контролируемую дистилляцию, предыдущие RL-методы, экспертные аннотации человека и выходные данные, усиленные GPT-4V. На CaptionQA модель показывает превосходную лексическую эффективность: наша модель объемом 7B соответствует показателям Qwen2.5-VL-32B-Instruct, а наша модель объемом 3B превосходит ее 7B аналог. Примечательно, что использование компактной RubiCap-3B в качестве генератора описаний позволяет создавать более качественные предобученные VLMs по сравнению с моделями, обученными на описаниях от проприетарных моделей.

English

Dense image captioning is critical for cross-modal alignment in vision-language pretraining and text-to-image generation, but scaling expert-quality annotations is prohibitively expensive. While synthetic captioning via strong vision-language models (VLMs) is a practical alternative, supervised distillation often yields limited output diversity and weak generalization. Reinforcement learning (RL) could overcome these limitations, but its successes have so far been concentrated in verifiable domains that rely on deterministic checkers -- a luxury not available in open-ended captioning. We address this bottleneck with RubiCap, a novel RL framework that derives fine-grained, sample-specific reward signals from LLM-written rubrics. RubiCap first assembles a diverse committee of candidate captions, then employs an LLM rubric writer to extract consensus strengths and diagnose deficiencies in the current policy. These insights are converted into explicit evaluation criteria, enabling an LLM judge to decompose holistic quality assessment and replace coarse scalar rewards with structured, multi-faceted evaluations. Across extensive benchmarks, RubiCap achieves the highest win rates on CapArena, outperforming supervised distillation, prior RL methods, human-expert annotations, and GPT-4V-augmented outputs. On CaptionQA, it demonstrates superior word efficiency: our 7B model matches Qwen2.5-VL-32B-Instruct, and our 3B model surpasses its 7B counterpart. Remarkably, using the compact RubiCap-3B as a captioner produces stronger pretrained VLMs than those trained on captions from proprietary models.