Le Ricompense Sono Sufficienti per una Generazione Foto-Realistica Rapida da Testo a Immagine

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Autori: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Abstract

Allineare le immagini generate a prompt testuali complessi e alle preferenze umane rappresenta una sfida centrale nel campo del Contenuto Generato dall'Intelligenza Artificiale (AIGC). Con l'emergere della distillazione diffusa potenziata da ricompense come approccio promettente che migliora la controllabilità e la fedeltà dei modelli testo-immagine, identifichiamo un cambiamento di paradigma fondamentale: man mano che le condizioni diventano più specifiche e i segnali di ricompensa più forti, le ricompense stesse diventano la forza dominante nella generazione. Al contrario, le perdite di diffusione fungono da forma eccessivamente costosa di regolarizzazione. Per convalidare approfonditamente la nostra ipotesi, introduciamo R0, un nuovo approccio di generazione condizionata tramite massimizzazione regolarizzata delle ricompense. Invece di affidarsi a complesse perdite di distillazione diffusa, R0 propone una nuova prospettiva che tratta la generazione di immagini come un problema di ottimizzazione nello spazio dei dati, mirando a cercare immagini valide con alte ricompense composizionali. Attraverso progetti innovativi della parametrizzazione del generatore e tecniche di regolarizzazione appropriate, addestriamo modelli generativi testo-immagine all'avanguardia con R0 su larga scala. I nostri risultati sfidano la saggezza convenzionale della post-formazione diffusa e della generazione condizionata, dimostrando che le ricompense svolgono un ruolo dominante negli scenari con condizioni complesse. Speriamo che le nostre scoperte possano contribuire a ulteriori ricerche sui paradigmi di generazione centrati sull'uomo e sulle ricompense nel più ampio campo dell'AIGC. Il codice è disponibile all'indirizzo https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.