Recompensas São Suficientes para Geração Rápida de Imagens Foto-Realistas a Partir de Texto

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Autores: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Resumo

Alinhar imagens geradas a prompts de texto complexos e preferências humanas é um desafio central na Geração de Conteúdo por Inteligência Artificial (AIGC). Com a destilação de difusão aprimorada por recompensa emergindo como uma abordagem promissora que aumenta a controlabilidade e fidelidade de modelos de texto para imagem, identificamos uma mudança fundamental de paradigma: à medida que as condições se tornam mais específicas e os sinais de recompensa mais fortes, as próprias recompensas se tornam a força dominante na geração. Em contraste, as perdas de difusão servem como uma forma excessivamente cara de regularização. Para validar minuciosamente nossa hipótese, introduzimos R0, uma nova abordagem de geração condicional via maximização de recompensa regularizada. Em vez de depender de perdas complicadas de destilação de difusão, o R0 propõe uma nova perspectiva que trata a geração de imagens como um problema de otimização no espaço de dados, que visa buscar imagens válidas que tenham altas recompensas composicionais. Por meio de projetos inovadores de parametrização do gerador e técnicas adequadas de regularização, treinamos modelos de geração de texto para imagem de última geração com R0 em escala. Nossos resultados desafiam a sabedoria convencional de pós-treinamento de difusão e geração condicional, demonstrando que as recompensas desempenham um papel dominante em cenários com condições complexas. Esperamos que nossas descobertas possam contribuir para pesquisas futuras sobre paradigmas de geração centrados no ser humano e na recompensa em todo o campo mais amplo da AIGC. O código está disponível em https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.