DenseGRPO: От разреженной к плотной функции вознаграждения для согласования моделей с помощью потокового согласования

DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

January 28, 2026

Авторы: Haoyou Deng, Keyu Yan, Chaojie Mao, Xiang Wang, Yu Liu, Changxin Gao, Nong Sang

cs.AI

Аннотация

Недавние подходы на основе GRPO, построенные на моделях согласования потоков, продемонстрировали значительный прогресс в согласовании с человеческими предпочтениями для задач генерации изображений по тексту. Тем не менее, они по-прежнему страдают от проблемы разреженного вознаграждения: итоговое вознаграждение за всю траекторию денойзинга применяется ко всем промежуточным шагам, что приводит к несоответствию между глобальными сигналами обратной связи и точным вкладом отдельных шагов на промежуточных стадиях денойзинга. Для решения этой проблемы мы представляем DenseGRPO — новую структуру, которая согласует человеческие предпочтения с помощью плотных вознаграждений, оценивающих детальный вклад каждого шага денойзинга. Конкретно наш подход включает два ключевых компонента: (1) мы предлагаем прогнозировать прирост вознаграждения на каждом шаге в качестве плотного вознаграждения за шаг денойзинга, применяя модель вознаграждения к промежуточным очищенным изображениям с помощью подхода на основе ОДУ. Такой подход обеспечивает соответствие между сигналами обратной связи и вкладом отдельных шагов, способствуя эффективному обучению; и (2) на основе оцененных плотных вознаграждений выявляется недостаток несоответствия между равномерной настройкой исследования и изменяющейся во времени интенсивностью шума в существующих методах на основе GRPO, что приводит к неоптимальному пространству исследований. Таким образом, мы предлагаем схему, учитывающую вознаграждение, для калибровки пространства исследований путем адаптивной регулировки стохастической инъекции, специфичной для временного шага, в сэмплере на основе СДУ, что гарантирует подходящее пространство исследований на всех временных шагах. Многочисленные эксперименты на нескольких стандартных бенчмарках демонстрируют эффективность предложенного DenseGRPO и подчеркивают ключевую роль валидных плотных вознаграждений в согласовании моделей потокового согласования.

English

Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.