Visual-CoG: テキストから画像生成のための段階認識型強化学習とガイダンスチェーン

Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation

August 25, 2025

著者: Yaqi Li, Peng Chen, Mingyang Han, Bu Pi, Haoxiang Shi, Runzhou Zhao, Yang Yao, Xuan Zhang, Jun Song

cs.AI

要旨

最近の自己回帰モデルはテキストから画像（T2I）生成において有望な進展を見せているものの、複数の属性や曖昧なプロンプトを扱う能力には依然として限界があります。これらの制約に対処するため、既存の研究では段階を意識した視覚合成を可能にするために連鎖思考（CoT）を適用し、推論能力を向上させるために強化学習（RL）を採用してきました。しかし、ほとんどのモデルは生成段階の終了時のみに報酬信号を提供します。この単一的な最終段階のみのガイダンスでは、どの段階が最終結果に寄与しているかを特定することが難しく、最適でないポリシーにつながる可能性があります。この問題を解決するため、我々は視覚的ガイダンスの連鎖（Visual-CoG）パラダイムを提案します。これは、意味推論、プロセス精緻化、結果評価の3つの段階からなり、段階を意識した報酬が画像生成パイプライン全体で即時のガイダンスを提供します。さらに、意味推論の有効性を評価するための4つのサブタスクからなる視覚認知ベンチマーク、VisCog-Benchを構築しました。GenEval、T2I-CompBench、および提案されたVisCog-Benchでの包括的な評価では、それぞれ15％、5％、19％の改善を示し、提案されたVisual-CoGの優れた性能を実証しています。すべてのリソースを近日中に公開する予定です。

English

Despite the promising progress of recent autoregressive models in text-to-image (T2I) generation, their ability to handle multi-attribute and ambiguous prompts remains limited. To address these limitations, existing works have applied chain-of-thought (CoT) to enable stage-aware visual synthesis and employed reinforcement learning (RL) to improve reasoning capabilities. However, most models provide reward signals only at the end of the generation stage. This monolithic final-only guidance makes it difficult to identify which stages contribute positively to the final outcome and may lead to suboptimal policies. To tackle this issue, we propose a Visual-Chain of Guidance (Visual-CoG) paradigm consisting of three stages: semantic reasoning, process refining, and outcome evaluation, with stage-aware rewards providing immediate guidance throughout the image generation pipeline. We further construct a visual cognition benchmark, VisCog-Bench, which comprises four subtasks to evaluate the effectiveness of semantic reasoning. Comprehensive evaluations on GenEval, T2I-CompBench, and the proposed VisCog-Bench show improvements of 15%, 5%, and 19%, respectively, demonstrating the superior performance of the proposed Visual-CoG. We will release all the resources soon.