UniGRPO: Vereinheitlichte Policy-Optimierung für reasoning-gesteuerte visuelle Erzeugung

Zusammenfassung

Einheitliche Modelle, die verschachtelte Generierung beherrschen, haben sich als vielversprechendes Paradigma erwiesen, wobei sich die Gemeinschaft zunehmend auf autoregressive Modellierung für Text und Flow Matching für die Bildgenerierung konzentriert. Um diese Richtung voranzutreiben, schlagen wir einen einheitlichen Reinforcement-Learning-Rahmen vor, der speziell für die verschachtelte Generierung ausgelegt ist. Wir validieren unseren Ansatz anhand seiner grundlegenden Einheit: einer einzelnen Runde reasoning-gesteuerter Bildgenerierung, bei der das Modell zunächst die Benutzeraufforderung durch Reasoning erweitert, gefolgt von der Bildsynthese. Indem wir diesen multimodalen Generierungsprozess als Markov-Entscheidungsprozess mit spärlichen terminalen Belohnungen formulieren, führen wir UniGRPO ein, um Text- und Bildgenerierungsrichtlinien gemeinsam mit GRPO zu optimieren. In Anlehnung an eine minimalistische Methodik zur Vermeidung von Überkonstruktion nutzen wir etablierte Trainingsrezepte für beide Modalitäten, indem wir standardmäßiges GRPO für das Reasoning und FlowGRPO für die visuelle Synthese nahtlos integrieren. Um die Skalierbarkeit für mehrstufige verschachtelte Generierung sicherzustellen, führen wir zwei kritische Modifikationen am ursprünglichen FlowGRPO ein: (1) die Eliminierung der klassifikatorfreien Führung, um lineare, unverzweigte Rollouts beizubehalten, was für die Skalierung auf komplexe Szenarien mit mehrstufigen Interaktionen und Multibedingungsgenerierung (z.B. Bearbeitung) essentiell ist; und (2) den Ersatz der standardmäßigen latenten KL-Strafe durch eine MSE-Strafe direkt auf den Geschwindigkeitsfeldern, die ein robusteres und direkteres Regularisierungssignal liefert, um Belohnungsmanipulation effektiv zu mildern. Unsere Experimente zeigen, dass dieses einheitliche Trainingsrezept die Bildgenerierungsqualität durch Reasoning erheblich steigert und eine robuste und skalierbare Basis für das zukünfte Nachtraining vollständig verschachtelter Modelle bietet.

English

Unified models capable of interleaved generation have emerged as a promising paradigm, with the community increasingly converging on autoregressive modeling for text and flow matching for image generation. To advance this direction, we propose a unified reinforcement learning framework tailored for interleaved generation. We validate our approach on its fundamental unit: a single round of reasoning-driven image generation, where the model first expands the user prompt through reasoning, followed by image synthesis. Formulating this multimodal generation process as a Markov Decision Process with sparse terminal rewards, we introduce UniGRPO to jointly optimize text and image generation policies using GRPO. Adopting a minimalist methodology to avoid over-design, we leverage established training recipes for both modalities by seamlessly integrating standard GRPO for reasoning and FlowGRPO for visual synthesis. To ensure scalability to multi-round interleaved generation, we introduce two critical modifications to the original FlowGRPO: (1) eliminating classifier-free guidance to maintain linear, unbranched rollouts, which is essential for scaling to complex scenarios involving multi-turn interactions and multi-condition generation (e.g., editing); and (2) replacing the standard latent KL penalty with an MSE penalty directly on the velocity fields, providing a more robust and direct regularization signal to mitigate reward hacking effectively. Our experiments demonstrate that this unified training recipe significantly enhances image generation quality through reasoning, providing a robust and scalable baseline for the future post-training of fully interleaved models.

UniGRPO: Vereinheitlichte Policy-Optimierung für reasoning-gesteuerte visuelle Erzeugung

UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation

Zusammenfassung

Support