DenseGRPO: Da ricompense sparse a dense per l'allineamento dei modelli di flusso
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
January 28, 2026
Autori: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang
cs.AI
Abstract
Gli approcci recenti basati su GRPO costruiti su modelli di flow matching hanno mostrato notevoli miglioramenti nell'allineamento alle preferenze umane per la generazione di immagini da testo. Tuttavia, essi soffrono ancora del problema della ricompensa sparsa: la ricompensa terminale dell'intera traiettoria di denoising viene applicata a tutti i passi intermedi, risultando in una discrepanza tra i segnali di feedback globale e i contributi esatti e granulari ai passi intermedi del denoising. Per affrontare questo problema, introduciamo DenseGRPO, un framework innovativo che allinea le preferenze umane con ricompense dense, valutando il contributo granulare di ogni passo di denoising. Nello specifico, il nostro approccio include due componenti chiave: (1) proponiamo di predire il guadagno di ricompensa passo-passo come ricompensa densa per ogni passo di denoising, applicando un modello di ricompensa sulle immagini pulite intermedie tramite un approccio basato su ODE. Questa modalità garantisce un allineamento tra i segnali di feedback e i contributi dei singoli passi, facilitando un addestramento efficace; e (2) sulla base delle ricompense dense stimate, viene evidenziato uno svantaggio da disallineamento tra l'impostazione di esplorazione uniforme e l'intensità di rumore variabile nel tempo nei metodi esistenti basati su GRPO, portando a uno spazio di esplorazione inappropriato. Pertanto, proponiamo uno schema reward-aware per calibrare lo spazio di esplorazione regolando adattivamente un'iniezione di stochasticità specifica per il timestep nel campionatore SDE, garantendo uno spazio di esplorazione adeguato in tutti i timestep. Esperimenti estesi su molteplici benchmark standard dimostrano l'efficacia del DenseGRPO proposto e evidenziano il ruolo cruciale delle ricompense dense valide nell'allineamento del modello di flow matching.
English
Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.