DenseGRPO: Da Recompensa Esparsa para a Recompensa Densa no Alinhamento de Modelos de Flow Matching

DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

January 28, 2026

Autores: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang

cs.AI

Resumo

Abordagens recentes baseadas em GRPO, construídas sobre modelos de correspondência de fluxo (flow matching), têm mostrado melhorias notáveis no alinhamento com preferências humanas para geração de texto-imagem. No entanto, elas ainda sofrem com o problema da recompensa esparsa: a recompensa terminal de toda a trajetória de remoção de ruído é aplicada a todas as etapas intermediárias, resultando em um descompasso entre os sinais de feedback global e as contribuições granulares exatas nas etapas intermediárias do processo. Para resolver essa questão, introduzimos o DenseGRPO, uma estrutura inovadora que alinha a preferência humana com recompensas densas, avaliando a contribuição granular de cada etapa de remoção de ruído. Especificamente, nossa abordagem inclui dois componentes principais: (1) propomos prever o ganho de recompensa por etapa como uma recompensa densa para cada passo de desruído, aplicando um modelo de recompensa nas imagens limpas intermediárias por meio de uma abordagem baseada em EDOs. Esse método garante um alinhamento entre os sinais de feedback e as contribuições de etapas individuais, facilitando um treinamento eficaz; e (2) com base nas recompensas densas estimadas, uma desvantagem de descompasso entre a configuração de exploração uniforme e a intensidade de ruído variável no tempo nos métodos baseados em GRPO existentes é revelada, levando a um espaço de exploração inadequado. Assim, propomos um esquema consciente da recompensa para calibrar o espaço de exploração, ajustando adaptativamente uma injeção de estocasticidade específica por passo de tempo no amostrador de EDEs, garantindo um espaço de exploração adequado em todos os intervalos de tempo. Experimentos extensos em múltiplos benchmarks padrão demonstram a eficácia do DenseGRPO proposto e destacam o papel crítico das recompensas densas válidas no alinhamento de modelos de correspondência de fluxo.

English

Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.