Beloningen zijn voldoende voor snelle foto-realistische tekst-naar-beeldgeneratie.

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Auteurs: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Samenvatting

Het afstemmen van gegenereerde afbeeldingen op complexe tekstprompts en menselijke voorkeuren is een centrale uitdaging in Kunstmatige Intelligentie-Gegenereerde Inhoud (AIGC). Met beloning-versterkte diffusiedistillatie die naar voren komt als een veelbelovende aanpak die de bestuurbaarheid en nauwkeurigheid van tekst-naar-afbeelding modellen verbetert, identificeren we een fundamentele paradigmaverschuiving: naarmate de voorwaarden specifieker worden en de beloningssignalen sterker, worden de beloningen zelf de dominante kracht in de generatie. In tegenstelling daarbij dienen de diffusieverliezen als een buitensporig dure vorm van regularisatie. Om onze hypothese grondig te valideren, introduceren we R0, een nieuwe benadering voor conditionele generatie via gereguleerde beloningsmaximalisatie. In plaats van te vertrouwen op lastige diffusiedistillatieverliezen, stelt R0 een nieuw perspectief voor dat afbeeldingsgeneratie behandelt als een optimalisatieprobleem in de gegevensruimte, dat gericht is op het zoeken naar geldige afbeeldingen met hoge compositorische beloningen. Door innovatieve ontwerpen van de generatorparameterisatie en passende regularisatietechnieken trainen we state-of-the-art tekst-naar-afbeelding generatieve modellen met R0 op grote schaal. Onze resultaten dagen de conventionele wijsheid van diffusie na-training en conditionele generatie uit door aan te tonen dat beloningen een dominante rol spelen in scenario's met complexe voorwaarden. We hopen dat onze bevindingen kunnen bijdragen aan verder onderzoek naar mensgerichte en beloningsgerichte generatieparadigma's in het bredere veld van AIGC. Code is beschikbaar op https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.