AlphaGRPO: Desbloqueando a Geração Multimodal Autorreflexiva em UMMs via Recompensa Verificável Decomposicional

Resumo

Neste artigo, propomos o AlphaGRPO, uma nova estrutura que aplica a Otimização de Política Relativa em Grupo (GRPO) a Modelos Multimodais Unificados de Difusão AR (UMMs) para melhorar as capacidades de geração multimodal sem um estágio adicional de inicialização a frio. Nossa abordagem libera o potencial intrínseco do modelo para realizar tarefas avançadas de raciocínio: Geração de Texto para Imagem com Raciocínio, onde o modelo infere ativamente intenções implícitas do usuário, e Refinamento Autorreflexivo, onde ele diagnostica e corrige autonomamente desalinhamentos nas saídas geradas. Para enfrentar o desafio de fornecer supervisão estável para a geração multimodal do mundo real, introduzimos a Recompensa Verificável Decomposicional (DVReward). Diferentemente de recompensas escalares holísticas, a DVReward utiliza um LLM para decompor solicitações complexas do usuário em questões atômicas, verificáveis, semânticas e de qualidade, que são então avaliadas por um MLLM geral para fornecer feedback confiável e interpretável. Experimentos extensivos demonstram que o AlphaGRPO produz melhorias robustas em benchmarks de geração multimodal, incluindo GenEval, TIIF-Bench, DPG-Bench e WISE, ao mesmo tempo que obtém ganhos significativos em tarefas de edição no GEdit sem treinamento em tarefas de edição. Esses resultados validam que nossa abordagem de reforço autorreflexivo utiliza efetivamente a compreensão inerente para guiar a geração de alta fidelidade. Página do projeto: https://huangrh99.github.io/AlphaGRPO/

English

In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/