Награды достаточны для быстрого фотореалистичного генерации изображений из текста.

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Авторы: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Аннотация

Согласование генерируемых изображений со сложными текстовыми запросами и предпочтениями человека представляет собой ключевую задачу в области создания контента с использованием искусственного интеллекта (AIGC). С появлением подхода, основанного на диффузионной дистилляции с усилением вознаграждения, который повышает управляемость и точность моделей преобразования текста в изображения, мы наблюдаем фундаментальный сдвиг парадигмы: по мере того как условия становятся более специфичными, а сигналы вознаграждения — сильнее, сами вознаграждения становятся доминирующей силой в процессе генерации. В то же время диффузионные потери выступают в качестве чрезмерно затратной формы регуляризации. Для тщательной проверки нашей гипотезы мы представляем R0 — новый подход к условной генерации, основанный на максимизации вознаграждения с регуляризацией. Вместо использования сложных диффузионных потерь R0 предлагает новую перспективу, рассматривая генерацию изображений как задачу оптимизации в пространстве данных, направленную на поиск валидных изображений с высокими композиционными вознаграждениями. Благодаря инновационным подходам к параметризации генератора и применению соответствующих методов регуляризации, мы обучаем передовые модели генерации текста в изображения с малым количеством шагов с использованием R0 в масштабе. Наши результаты бросают вызов традиционным представлениям о пост-обучении диффузионных моделей и условной генерации, демонстрируя, что вознаграждения играют доминирующую роль в сценариях со сложными условиями. Мы надеемся, что наши выводы внесут вклад в дальнейшие исследования в области генерации, ориентированной на человека и вознаграждения, в более широком контексте AIGC. Код доступен по адресу https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.