Les récompenses suffisent pour une génération photo-réaliste rapide d'images à partir de texte.

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Auteurs: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Résumé

L'alignement des images générées avec des prompts textuels complexes et les préférences humaines constitue un défi central dans le domaine du contenu généré par intelligence artificielle (AIGC). Avec l'émergence de la distillation par diffusion améliorée par récompense comme approche prometteuse pour accroître la contrôlabilité et la fidélité des modèles de génération texte-image, nous identifions un changement de paradigme fondamental : à mesure que les conditions deviennent plus spécifiques et les signaux de récompense plus forts, les récompenses elles-mêmes deviennent la force dominante dans la génération. En revanche, les pertes de diffusion servent de forme de régularisation excessivement coûteuse. Pour valider rigoureusement notre hypothèse, nous introduisons R0, une nouvelle approche de génération conditionnelle via la maximisation régularisée des récompenses. Plutôt que de s'appuyer sur des pertes de distillation par diffusion complexes, R0 propose une nouvelle perspective qui traite la génération d'images comme un problème d'optimisation dans l'espace des données, visant à rechercher des images valides ayant des récompenses compositionnelles élevées. Grâce à des conceptions innovantes de la paramétrisation du générateur et à des techniques de régularisation appropriées, nous entraînons des modèles de génération texte-image à quelques étapes de pointe avec R0 à grande échelle. Nos résultats remettent en question la sagesse conventionnelle de la post-formation par diffusion et de la génération conditionnelle en démontrant que les récompenses jouent un rôle dominant dans les scénarios à conditions complexes. Nous espérons que nos découvertes contribueront à des recherches supplémentaires sur les paradigmes de génération centrés sur l'humain et les récompenses dans le domaine plus large de l'AIGC. Le code est disponible à l'adresse https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.