AlphaGRPO: Разблокирование саморефлексивной мультимодальной генерации в UMMs с помощью декомпозиционной верифицируемой награды
AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
May 12, 2026
Авторы: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
cs.AI
Аннотация
В данной статье мы предлагаем AlphaGRPO — новую структуру, которая применяет Group Relative Policy Optimization (GRPO) к унифицированным мультимодальным моделям AR-Diffusion (UMMs) для улучшения способностей мультимодальной генерации без необходимости дополнительного этапа холодного старта. Наш подход раскрывает внутренний потенциал модели для выполнения сложных задач рассуждения: генерация изображений по тексту с рассуждением (Reasoning Text-to-Image Generation), где модель активно выводит неявные намерения пользователя, и саморефлексивное уточнение (Self-Reflective Refinement), в рамках которого она автономно диагностирует и исправляет несоответствия в сгенерированных результатах. Для решения проблемы обеспечения стабильного контроля в задачах мультимодальной генерации реального мира мы вводим декомпозиционную верифицируемую награду (Decompositional Verifiable Reward, DVReward). В отличие от целостных скалярных наград, DVReward использует LLM для декомпозиции сложных запросов пользователей на атомарные, верифицируемые семантические и качественные вопросы, которые затем оцениваются общей MLLM, обеспечивая надежную и интерпретируемую обратную связь. Обширные эксперименты демонстрируют, что AlphaGRPO обеспечивает устойчивые улучшения по бенчмаркам мультимодальной генерации, включая GenEval, TIIF-Bench, DPG-Bench и WISE, а также достигает значительных успехов в задачах редактирования на GEdit без обучения на этих задачах. Эти результаты подтверждают, что наш саморефлексивный подход с подкреплением эффективно использует внутреннее понимание модели для генерации с высокой точностью. Страница проекта: https://huangrh99.github.io/AlphaGRPO/
English
In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/