AlphaGRPO : Déverrouiller la génération multimodale autoréflexive dans les UMM via une récompense vérifiable décompositionnelle
AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
May 12, 2026
Auteurs: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
cs.AI
Résumé
Dans cet article, nous proposons AlphaGRPO, un cadre novateur qui applique l'Optimisation Relative de Politique de Groupe (GRPO) aux Modèles Multimodaux Unifiés à Diffusion Autoregressive (UMMs) afin d'améliorer les capacités de génération multimodale sans nécessiter d'étape de démarrage à froid supplémentaire. Notre approche libère le potentiel intrinsèque du modèle pour réaliser des tâches de raisonnement avancées : la Génération d'Images à partir de Texte Raisonnée, où le modèle déduit activement les intentions implicites de l'utilisateur, et le Raffinement Auto-Réflexif, où il diagnostique et corrige de manière autonome les désalignements dans les sorties générées. Pour relever le défi de fournir une supervision stable pour la génération multimodale en conditions réelles, nous introduisons la Récompense Vérifiable Décompositionnelle (DVReward). Contrairement aux récompenses scalaires holistiques, DVReward utilise un LLM pour décomposer les requêtes complexes des utilisateurs en questions atomiques, sémantiques et de qualité vérifiables, qui sont ensuite évaluées par un MLLM général afin de fournir un retour fiable et interprétable. Des expériences approfondies démontrent qu'AlphaGRPO produit des améliorations robustes sur les références de génération multimodale, notamment GenEval, TIIF-Bench, DPG-Bench et WISE, tout en réalisant des gains significatifs sur les tâches d'édition avec GEdit sans avoir été entraîné sur des tâches d'édition. Ces résultats valident que notre approche de renforcement auto-réflexive exploite efficacement la compréhension inhérente pour guider une génération haute-fidélité. Page du projet : https://huangrh99.github.io/AlphaGRPO/
English
In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/