DenseGRPO: De recompensa dispersa a densa para la alineación de modelos de emparejamiento de flujos

DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

January 28, 2026

Autores: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang

cs.AI

Resumen

Los enfoques recientes basados en GRPO, construidos sobre modelos de flow matching, han mostrado mejoras notables en la alineación con las preferencias humanas para la generación de texto a imagen. Sin embargo, aún adolecen del problema de la recompensa dispersa: la recompensa terminal de toda la trayectoria de eliminación de ruido se aplica a todos los pasos intermedios, lo que genera una desalineación entre las señales de retroalimentación global y las contribuciones exactas de grano fino en los pasos intermedios del proceso. Para abordar este problema, presentamos DenseGRPO, un marco novedoso que alinea la preferencia humana con recompensas densas, evaluando la contribución de grano fino de cada paso de eliminación de ruido. Específicamente, nuestro enfoque incluye dos componentes clave: (1) proponemos predecir la ganancia de recompensa por paso como recompensa densa de cada paso de desruido, aplicando un modelo de recompensa a las imágenes limpias intermedias mediante un enfoque basado en EDOs. Este método garantiza una alineación entre las señales de retroalimentación y las contribuciones de los pasos individuales, facilitando un entrenamiento efectivo; y (2) basándonos en las recompensas densas estimadas, se revela una desventaja por desalineación entre la configuración de exploración uniforme y la intensidad de ruido variable en el tiempo de los métodos existentes basados en GRPO, lo que conduce a un espacio de exploración inapropiado. Por lo tanto, proponemos un esquema consciente de la recompensa para calibrar el espacio de exploración ajustando adaptativamente una inyección de estocasticidad específica para cada paso de tiempo en el muestreador de EDEs, asegurando un espacio de exploración adecuado en todos los pasos de tiempo. Experimentos exhaustivos en múltiples benchmarks estándar demuestran la efectividad del DenseGRPO propuesto y destacan el papel crítico de las recompensas densas válidas en la alineación de modelos de flow matching.

English

Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.