Оптимизация визуальных генеративных моделей с помощью распределительных вознаграждений

Аннотация

Традиционные стратегии обучения с подкреплением для визуальной генерации обычно используют поэлементные функции вознаграждения, однако такая практика часто приводит к взлому вознаграждения (reward hacking), что снижает разнообразие изображений и вызывает визуальные аномалии. Для устранения этих ограничений мы предлагаем новую структуру, которая донастраивает генеративные модели с использованием вознаграждений на уровне распределений, обеспечивая лучшее соответствие распределениям реальных данных. В отличие от вознаграждений, оценивающих образцы по отдельности, распределительное вознаграждение учитывает распределение данных образцов, смягчая проблему коллапса мод (mode collapse), которая возникает, когда все образцы оптимизируются независимо в одном направлении. Чтобы преодолеть запретительную вычислительную стоимость оценки таких вознаграждений, мы вводим стратегию замены подмножества, которая эффективно предоставляет сигналы вознаграждения путем обновления только небольшого подмножества сгенерированного эталонного набора. Кроме того, мы применяем RL для оптимизации последующих (post-hoc) коэффициентов слияния моделей, что потенциально смягчает несоответствие между обучением и выводом, вызванное введением стохастического дифференциального уравнения (SDE) в обычных практиках RL. Обширные эксперименты показывают, что наш подход значительно улучшает показатель FID-50K для различных базовых моделей: с 8.30 до 5.77 для SiT и с 3.74 до 3.52 для EDM2. Качественная оценка также подтверждает, что наш метод улучшает перцептивное качество, сохраняя при этом разнообразие образцов.

English

Conventional reinforcement learning strategies for visual generation typically employ sample-wise reward functions, yet this practice frequently results in reward hacking that degrades image diversity and introduces visual anomalies. To address these limitations, we present a novel framework that finetunes generative models using distribution-wise rewards, ensuring better alignment with real-world data distributions. Unlike rewards that evaluate samples individually, distribution-wise reward accounts for the data distribution of the samples, mitigating the mode collapse problem that occurs when all samples optimize towards the same direction independently. To overcome the prohibitive computational cost of estimating these rewards, we introduce a subset-replace strategy that efficiently provides reward signals by updating only a small subset of a generated reference set. Additionally, we apply RL to optimize post-hoc model merging coefficients, potentially mitigating the train-inference inconsistency caused by introducing stochastic differential equation (SDE) in regular RL practices. Extensive experiments show our approach significantly improves FID-50K across various base models, from 8.30 to 5.77 for SiT and from 3.74 to 3.52 for EDM2. Qualitative evaluation also confirms that our method enhances perceptual quality while preserving sample diversity.