Escalando Transformadores de Flujo Rectificado para la Síntesis de Imágenes de Alta Resolución

Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

March 5, 2024

Autores: Patrick Esser, Sumith Kulal, Andreas Blattmann, Rahim Entezari, Jonas Müller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English, Kyle Lacey, Alex Goodwin, Yannik Marek, Robin Rombach

cs.AI

Resumen

Los modelos de difusión generan datos a partir de ruido invirtiendo las trayectorias directas de los datos hacia el ruido y han surgido como una técnica poderosa de modelado generativo para datos perceptuales de alta dimensión, como imágenes y videos. El flujo rectificado es una formulación reciente de modelos generativos que conecta datos y ruido en línea recta. A pesar de sus mejores propiedades teóricas y simplicidad conceptual, aún no se ha establecido de manera decisiva como una práctica estándar. En este trabajo, mejoramos las técnicas existentes de muestreo de ruido para entrenar modelos de flujo rectificado al sesgarlas hacia escalas perceptualmente relevantes. A través de un estudio a gran escala, demostramos el rendimiento superior de este enfoque en comparación con las formulaciones de difusión establecidas para la síntesis de imágenes de alta resolución a partir de texto. Además, presentamos una arquitectura novedosa basada en transformadores para la generación de imágenes a partir de texto que utiliza pesos separados para las dos modalidades y permite un flujo bidireccional de información entre tokens de imagen y texto, mejorando la comprensión del texto, la tipografía y las calificaciones de preferencia humana. Demostramos que esta arquitectura sigue tendencias de escalado predecibles y correlaciona una menor pérdida de validación con una mejor síntesis de imágenes a partir de texto, medida mediante diversas métricas y evaluaciones humanas. Nuestros modelos más grandes superan a los modelos de última generación, y haremos públicos nuestros datos experimentales, código y pesos de los modelos.

English

Diffusion models create data from noise by inverting the forward paths of data towards noise and have emerged as a powerful generative modeling technique for high-dimensional, perceptual data such as images and videos. Rectified flow is a recent generative model formulation that connects data and noise in a straight line. Despite its better theoretical properties and conceptual simplicity, it is not yet decisively established as standard practice. In this work, we improve existing noise sampling techniques for training rectified flow models by biasing them towards perceptually relevant scales. Through a large-scale study, we demonstrate the superior performance of this approach compared to established diffusion formulations for high-resolution text-to-image synthesis. Additionally, we present a novel transformer-based architecture for text-to-image generation that uses separate weights for the two modalities and enables a bidirectional flow of information between image and text tokens, improving text comprehension, typography, and human preference ratings. We demonstrate that this architecture follows predictable scaling trends and correlates lower validation loss to improved text-to-image synthesis as measured by various metrics and human evaluations. Our largest models outperform state-of-the-art models, and we will make our experimental data, code, and model weights publicly available.