AlphaGRPO: Ontsluiten van zelfreflectieve multimodale generatie in UMMs via decompositionele verifieerbare beloning

Samenvatting

In dit artikel stellen we AlphaGRPO voor, een nieuw framework dat Group Relative Policy Optimization (GRPO) toepast op AR-Diffusion Unified Multimodale Modellen (UMM's) om multimodale generatiecapaciteiten te verbeteren zonder een extra koude-startfase. Onze aanpak ontsluit het intrinsieke potentieel van het model om geavanceerde redeneertaken uit te voeren: Reasoning Text-to-Image Generation, waarbij het model actief impliciete gebruikersintenties afleidt, en Self-Reflective Refinement, waarbij het autonoom misalignaties in gegenereerde uitvoer diagnosticeert en corrigeert. Om de uitdaging van stabiele supervisie voor realistische multimodale generatie aan te pakken, introduceren we Decompositional Verifiable Reward (DVReward). In tegenstelling tot holistische scalaire beloningen gebruikt DVReward een LLM om complexe gebruikersverzoeken te decomponeren in atomaire, verifieerbare semantische en kwaliteitsvragen, die vervolgens door een algemene MLLM worden geëvalueerd om betrouwbare en interpreteerbare feedback te leveren. Uitgebreide experimenten tonen aan dat AlphaGRPO robuuste verbeteringen oplevert op multimodale generatiebenchmarks, waaronder GenEval, TIIF-Bench, DPG-Bench en WISE, en ook significante winst behaalt in bewerkingstaken op GEdit zonder training op bewerkingstaken. Deze resultaten valideren dat onze zelfreflectieve versterkingsaanpak effectief gebruikmaakt van inherent begrip om getrouwe generatie te sturen. Projectpagina: https://huangrh99.github.io/AlphaGRPO/

English

In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/