DenseGRPO : Des récompenses éparses aux récompenses denses pour l'alignement des modèles par appariement de flux
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
January 28, 2026
papers.authors: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang
cs.AI
papers.abstract
Les approches récentes basées sur GRPO et fondées sur les modèles de "flow matching" ont montré des améliorations remarquables dans l'alignement sur les préférences humaines pour la génération d'images à partir de texte. Néanmoins, elles souffrent toujours du problème de récompense éparse : la récompense terminale de l'intégralité de la trajectoire de bruitage est appliquée à toutes les étapes intermédiaires, ce qui entraîne un décalage entre les signaux de retour globaux et les contributions exactes et granulaires aux étapes de bruitage intermédiaires. Pour résoudre ce problème, nous présentons DenseGRPO, un nouveau cadre qui aligne les préférences humaines avec des récompenses denses, évaluant la contribution granulaire de chaque étape de débruitage. Plus précisément, notre approche comprend deux composants clés : (1) nous proposons de prédire le gain de récompense par étape comme récompense dense de chaque étape de débruitage, en appliquant un modèle de récompense sur les images intermédiaires nettoyées via une approche basée sur les EDO. Cette méthode garantit un alignement entre les signaux de retour et les contributions des étapes individuelles, facilitant un entraînement efficace ; et (2) sur la base des récompenses denses estimées, un inconvénient de décalage entre le paramètre d'exploration uniforme et l'intensité de bruit variable dans le temps des méthodes existantes basées sur GRPO est révélé, conduisant à un espace d'exploration inapproprié. Ainsi, nous proposons un schéma sensible aux récompenses pour calibrer l'espace d'exploration en ajustant dynamiquement une injection de stochasticité spécifique à l'instant dans l'échantillonneur SDE, garantissant un espace d'exploration adapté à tous les instants. Des expériences approfondies sur plusieurs benchmarks standards démontrent l'efficacité du DenseGRPO proposé et soulignent le rôle crucial des récompenses denses valides dans l'alignement des modèles de "flow matching".
English
Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.