UniGRPO: Uniforme Beleidsoptimalisatie voor Redeneringsgestuurde Visuele Generatie

Samenvatting

Universele modellen die in staat zijn tot intergeweven generatie zijn naar voren gekomen als een veelbelovend paradigma, waarbij de onderzoeksgemeenschap in toenemende mate convergeert naar autoregressieve modellering voor tekst en flow matching voor beeldgeneratie. Om deze richting te bevorderen, stellen we een verenigd reinforcement learning-raamwerk voor dat is toegesneden op intergeweven generatie. We valideren onze aanpak op de fundamentele eenheid ervan: een enkele ronde van redenering-gestuurde beeldgeneratie, waarbij het model eerst de gebruikersprompt uitbreidt via redenering, gevolgd door beeldsynthese. Door dit multimodale generatieproces te formuleren als een Markov-beslissingsproces met schaarse terminale beloningen, introduceren we UniGRPO om tekst- en beeldgeneratiebeleid gezamenlijk te optimaliseren met GRPO. Met een minimalistieke methodologie om over-ontwerp te vermijden, benutten we gevestigde trainingstechnieken voor beide modaliteiten door naadloos standaard GRPO voor redenering en FlowGRPO voor visuele synthese te integreren. Om schaalbaarheid naar multi-ronde intergeweven generatie te garanderen, introduceren we twee cruciale aanpassingen aan de oorspronkelijke FlowGRPO: (1) het elimineren van classifier-free guidance om lineaire, onvertakte rollouts te behouden, wat essentieel is voor schaalbaarheid naar complexe scenario's met multi-turn interacties en multi-condition generatie (bijvoorbeeld bewerking); en (2) het vervangen van de standaard latente KL-straf door een MSE-straf direct op de snelheidsvelden, wat een robuuster en directer regularisatiesignaal biedt om reward hacking effectief te mitigeren. Onze experimenten tonen aan dat deze verenigde trainingstechniek de beeldgeneratiekwaliteit significant verbetert door redenering, en een robuuste en schaalbare basislijn biedt voor de toekomstige post-training van volledig intergeweven modellen.

English

Unified models capable of interleaved generation have emerged as a promising paradigm, with the community increasingly converging on autoregressive modeling for text and flow matching for image generation. To advance this direction, we propose a unified reinforcement learning framework tailored for interleaved generation. We validate our approach on its fundamental unit: a single round of reasoning-driven image generation, where the model first expands the user prompt through reasoning, followed by image synthesis. Formulating this multimodal generation process as a Markov Decision Process with sparse terminal rewards, we introduce UniGRPO to jointly optimize text and image generation policies using GRPO. Adopting a minimalist methodology to avoid over-design, we leverage established training recipes for both modalities by seamlessly integrating standard GRPO for reasoning and FlowGRPO for visual synthesis. To ensure scalability to multi-round interleaved generation, we introduce two critical modifications to the original FlowGRPO: (1) eliminating classifier-free guidance to maintain linear, unbranched rollouts, which is essential for scaling to complex scenarios involving multi-turn interactions and multi-condition generation (e.g., editing); and (2) replacing the standard latent KL penalty with an MSE penalty directly on the velocity fields, providing a more robust and direct regularization signal to mitigate reward hacking effectively. Our experiments demonstrate that this unified training recipe significantly enhances image generation quality through reasoning, providing a robust and scalable baseline for the future post-training of fully interleaved models.

UniGRPO: Uniforme Beleidsoptimalisatie voor Redeneringsgestuurde Visuele Generatie

UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation

Samenvatting

Support