AlphaGRPO: Desbloqueando la Generación Multimodal Autorreflexiva en UMMs mediante Recompensa Verificable Descomposicional

AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

May 12, 2026

Autores: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

cs.AI

Resumen

En este artículo, proponemos AlphaGRPO, un novedoso marco que aplica la Optimización de Políticas Relativas de Grupo (GRPO) a Modelos Multimodales Unificados de Difusión AR (UMMs) para mejorar las capacidades de generación multimodal sin una etapa adicional de arranque en frío. Nuestro enfoque desbloquea el potencial intrínseco del modelo para realizar tareas de razonamiento avanzado: Generación de Texto a Imagen Razonada, donde el modelo infiere activamente las intenciones implícitas del usuario, y Refinamiento Auto-Reflexivo, donde diagnostica y corrige de forma autónoma las desalineaciones en las salidas generadas. Para abordar el desafío de proporcionar una supervisión estable para la generación multimodal en el mundo real, introducimos la Recompensa Verificable Descomposicional (DVReward). A diferencia de las recompensas escalares holísticas, DVReward utiliza un LLM para descomponer las solicitudes complejas del usuario en preguntas atómicas, verificables semánticamente y de calidad, que luego son evaluadas por un MLLM general para proporcionar retroalimentación confiable e interpretable. Extensos experimentos demuestran que AlphaGRPO produce mejoras robustas en varios puntos de referencia de generación multimodal, incluyendo GenEval, TIIF-Bench, DPG-Bench y WISE, al mismo tiempo que logra ganancias significativas en tareas de edición en GEdit sin entrenamiento en tareas de edición. Estos resultados validan que nuestro enfoque de refuerzo auto-reflexivo aprovecha eficazmente la comprensión inherente para guiar la generación de alta fidelidad. Página del proyecto: https://huangrh99.github.io/AlphaGRPO/

English

In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/