Оптимизация предпочтений с учетом шагов: выравнивание предпочтений с производительностью при удалении шума на каждом шаге.

Step-aware Preference Optimization: Aligning Preference with Denoising Performance at Each Step

June 6, 2024

Авторы: Zhanhao Liang, Yuhui Yuan, Shuyang Gu, Bohan Chen, Tiankai Hang, Ji Li, Liang Zheng

cs.AI

Аннотация

Недавно метод оптимизации прямых предпочтений (Direct Preference Optimization, DPO) расширил свой успех с согласования больших языковых моделей (Large Language Models, LLM) на согласование моделей диффузии текста в изображение с человеческими предпочтениями. В отличие от большинства существующих методов DPO, предполагающих, что все шаги диффузии разделяют одинаковый порядок предпочтений с конечно сгенерированными изображениями, мы считаем, что это предположение игнорирует производительность шага-специфической денойзинга и что метки предпочтений должны быть адаптированы к вкладу каждого шага. Для решения этого ограничения мы предлагаем метод оптимизации предпочтений, осведомленный о шагах (Step-aware Preference Optimization, SPO) - новый подход после обучения, который независимо оценивает и корректирует производительность денойзинга на каждом шаге, используя модель предпочтений, осведомленную о шагах, и шаговый ресэмплер для обеспечения точного осведомленного о шагах надзора. Конкретно, на каждом шаге денойзинга мы выбираем пул изображений, находим подходящую пару победа-поражение и, что самое важное, случайным образом выбираем одно изображение из пула для инициализации следующего шага денойзинга. Этот процесс шагового ресэмплинга обеспечивает, что следующая пара изображений победа-поражение происходит от того же изображения, делая сравнение победа-поражение независимым от предыдущего шага. Для оценки предпочтений на каждом шаге мы обучаем отдельную модель предпочтений, осведомленную о шагах, которая может быть применена как к зашумленным, так и к чистым изображениям. Наши эксперименты с Stable Diffusion v1.5 и SDXL показывают, что SPO значительно превосходит последний Diffusion-DPO в согласовании сгенерированных изображений с сложными, детализированными подсказками и улучшении эстетики, обеспечивая при этом более чем в 20 раз более быструю эффективность обучения. Код и модель: https://rockeycoss.github.io/spo.github.io/

English

Recently, Direct Preference Optimization (DPO) has extended its success from aligning large language models (LLMs) to aligning text-to-image diffusion models with human preferences. Unlike most existing DPO methods that assume all diffusion steps share a consistent preference order with the final generated images, we argue that this assumption neglects step-specific denoising performance and that preference labels should be tailored to each step's contribution. To address this limitation, we propose Step-aware Preference Optimization (SPO), a novel post-training approach that independently evaluates and adjusts the denoising performance at each step, using a step-aware preference model and a step-wise resampler to ensure accurate step-aware supervision. Specifically, at each denoising step, we sample a pool of images, find a suitable win-lose pair, and, most importantly, randomly select a single image from the pool to initialize the next denoising step. This step-wise resampler process ensures the next win-lose image pair comes from the same image, making the win-lose comparison independent of the previous step. To assess the preferences at each step, we train a separate step-aware preference model that can be applied to both noisy and clean images. Our experiments with Stable Diffusion v1.5 and SDXL demonstrate that SPO significantly outperforms the latest Diffusion-DPO in aligning generated images with complex, detailed prompts and enhancing aesthetics, while also achieving more than 20x times faster in training efficiency. Code and model: https://rockeycoss.github.io/spo.github.io/