Visual-CoG: Поэтапное обучение с подкреплением с цепочкой наставлений для генерации изображений по текстовому описанию

Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation

August 25, 2025

Авторы: Yaqi Li, Peng Chen, Mingyang Han, Bu Pi, Haoxiang Shi, Runzhou Zhao, Yang Yao, Xuan Zhang, Jun Song

cs.AI

Аннотация

Несмотря на значительные успехи современных авторегрессивных моделей в генерации изображений из текста (T2I), их способность обрабатывать многоатрибутные и неоднозначные запросы остается ограниченной. Для решения этих проблем в существующих работах применялся метод цепочки рассуждений (CoT) для обеспечения поэтапного визуального синтеза, а также использовалось обучение с подкреплением (RL) для улучшения способности к рассуждению. Однако большинство моделей предоставляют сигналы вознаграждения только на завершающем этапе генерации. Такое монолитное финальное руководство затрудняет определение того, какие этапы положительно влияют на конечный результат, и может приводить к субоптимальным стратегиям. Для решения этой проблемы мы предлагаем парадигму визуальной цепочки руководства (Visual-CoG), состоящую из трех этапов: семантического рассуждения, уточнения процесса и оценки результата, с поэтапными вознаграждениями, обеспечивающими оперативное руководство на протяжении всего процесса генерации изображений. Мы также создали эталонный тест визуального познания VisCog-Bench, который включает четыре подзадачи для оценки эффективности семантического рассуждения. Комплексные оценки на GenEval, T2I-CompBench и предложенном VisCog-Bench показывают улучшения на 15%, 5% и 19% соответственно, демонстрируя превосходную производительность предложенной Visual-CoG. Все ресурсы будут опубликованы в ближайшее время.

English

Despite the promising progress of recent autoregressive models in text-to-image (T2I) generation, their ability to handle multi-attribute and ambiguous prompts remains limited. To address these limitations, existing works have applied chain-of-thought (CoT) to enable stage-aware visual synthesis and employed reinforcement learning (RL) to improve reasoning capabilities. However, most models provide reward signals only at the end of the generation stage. This monolithic final-only guidance makes it difficult to identify which stages contribute positively to the final outcome and may lead to suboptimal policies. To tackle this issue, we propose a Visual-Chain of Guidance (Visual-CoG) paradigm consisting of three stages: semantic reasoning, process refining, and outcome evaluation, with stage-aware rewards providing immediate guidance throughout the image generation pipeline. We further construct a visual cognition benchmark, VisCog-Bench, which comprises four subtasks to evaluate the effectiveness of semantic reasoning. Comprehensive evaluations on GenEval, T2I-CompBench, and the proposed VisCog-Bench show improvements of 15%, 5%, and 19%, respectively, demonstrating the superior performance of the proposed Visual-CoG. We will release all the resources soon.