AlphaGRPO: Erschließung selbstreflexiver multimodaler Generierung in UMMs mittels dekomponierbarer verifizierbarer Belohnung
AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
May 12, 2026
Autoren: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
cs.AI
Zusammenfassung
In dieser Arbeit stellen wir AlphaGRPO vor, ein neuartiges Framework, das Group Relative Policy Optimization (GRPO) auf AR-Diffusion Unified Multimodal Models (UMMs) anwendet, um die multimodale Generierungsfähigkeit ohne eine zusätzliche Kaltstartphase zu verbessern. Unser Ansatz erschließt das inhärente Potenzial des Modells zur Durchführung fortgeschrittener Reasoning-Aufgaben: Reasoning-Text-zu-Bild-Generierung, bei der das Modell aktiv implizite Benutzerabsichten ableitet, sowie Self-Reflective Refinement, bei dem es selbstständig Fehlausrichtungen in generierten Ausgaben diagnostiziert und korrigiert. Um die Herausforderung zu bewältigen, eine stabile Überwachung für die multimodale Generierung in realen Szenarien bereitzustellen, führen wir den Decompositional Verifiable Reward (DVReward) ein. Im Gegensatz zu ganzheitlichen skalaren Belohnungen nutzt DVReward ein LLM, um komplexe Benutzeranfragen in atomare, überprüfbare semantische und qualitätsbezogene Fragen zu zerlegen, die dann von einem allgemeinen MLLM bewertet werden, um zuverlässiges und interpretierbares Feedback zu liefern. Umfangreiche Experimente zeigen, dass AlphaGRPO robuste Verbesserungen bei multimodalen Generierungsbenchmarks erzielt, darunter GenEval, TIIF-Bench, DPG-Bench und WISE, und gleichzeitig signifikante Fortschritte bei Bearbeitungsaufgaben auf GEdit erzielt, ohne dabei auf Bearbeitungsaufgaben trainiert zu sein. Diese Ergebnisse bestätigen, dass unser selbstreflexiver Reinforcement-Ansatz effektiv das inhärente Verständnis nutzt, um eine hochgenaue Generierung zu steuern. Projektseite: https://huangrh99.github.io/AlphaGRPO/
English
In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/