Las Recompensas Son Suficientes para la Generación Rápida de Imágenes Foto-Realistas a partir de Texto

Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation

March 17, 2025

Autores: Yihong Luo, Tianyang Hu, Weijian Luo, Kenji Kawaguchi, Jing Tang

cs.AI

Resumen

Alinear las imágenes generadas con indicaciones de texto complejas y las preferencias humanas representa un desafío central en el Contenido Generado por Inteligencia Artificial (AIGC, por sus siglas en inglés). Con la destilación de difusión mejorada por recompensas emergiendo como un enfoque prometedor que aumenta la controlabilidad y fidelidad de los modelos de texto a imagen, identificamos un cambio de paradigma fundamental: a medida que las condiciones se vuelven más específicas y las señales de recompensa más fuertes, las recompensas mismas se convierten en la fuerza dominante en la generación. En contraste, las pérdidas de difusión actúan como una forma excesivamente costosa de regularización. Para validar exhaustivamente nuestra hipótesis, presentamos R0, un novedoso enfoque de generación condicional mediante la maximización de recompensas regularizada. En lugar de depender de complicadas pérdidas de destilación de difusión, R0 propone una nueva perspectiva que trata la generación de imágenes como un problema de optimización en el espacio de datos, cuyo objetivo es buscar imágenes válidas que tengan altas recompensas composicionales. Mediante diseños innovadores de la parametrización del generador y técnicas de regularización adecuadas, entrenamos modelos generativos de texto a imagen de última generación con R0 a gran escala. Nuestros resultados desafían la sabiduría convencional sobre el post-entrenamiento de difusión y la generación condicional al demostrar que las recompensas desempeñan un papel dominante en escenarios con condiciones complejas. Esperamos que nuestros hallazgos contribuyan a futuras investigaciones sobre paradigmas de generación centrados en el ser humano y en las recompensas en el campo más amplio del AIGC. El código está disponible en https://github.com/Luo-Yihong/R0.

English

Aligning generated images to complicated text prompts and human preferences is a central challenge in Artificial Intelligence-Generated Content (AIGC). With reward-enhanced diffusion distillation emerging as a promising approach that boosts controllability and fidelity of text-to-image models, we identify a fundamental paradigm shift: as conditions become more specific and reward signals stronger, the rewards themselves become the dominant force in generation. In contrast, the diffusion losses serve as an overly expensive form of regularization. To thoroughly validate our hypothesis, we introduce R0, a novel conditional generation approach via regularized reward maximization. Instead of relying on tricky diffusion distillation losses, R0 proposes a new perspective that treats image generations as an optimization problem in data space which aims to search for valid images that have high compositional rewards. By innovative designs of the generator parameterization and proper regularization techniques, we train state-of-the-art few-step text-to-image generative models with R0 at scales. Our results challenge the conventional wisdom of diffusion post-training and conditional generation by demonstrating that rewards play a dominant role in scenarios with complex conditions. We hope our findings can contribute to further research into human-centric and reward-centric generation paradigms across the broader field of AIGC. Code is available at https://github.com/Luo-Yihong/R0.