Het Opschalen van Rectified Flow Transformers voor Synthese van Afbeeldingen met Hoge Resolutie

Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

March 5, 2024

Auteurs: Patrick Esser, Sumith Kulal, Andreas Blattmann, Rahim Entezari, Jonas Müller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English, Kyle Lacey, Alex Goodwin, Yannik Marek, Robin Rombach

cs.AI

Samenvatting

Diffusiemodellen creëren data uit ruis door de voorwaartse paden van data naar ruis om te keren en zijn naar voren gekomen als een krachtige techniek voor generatieve modellering van hoogdimensionale, perceptuele data zoals afbeeldingen en video's. Rectified flow is een recente formulering van een generatief model dat data en ruis verbindt in een rechte lijn. Ondanks de betere theoretische eigenschappen en conceptuele eenvoud, is het nog niet beslissend gevestigd als standaardpraktijk. In dit werk verbeteren we bestaande technieken voor het bemonsteren van ruis voor het trainen van rectified flow-modellen door ze te richten op perceptueel relevante schalen. Door middel van een grootschalige studie demonstreren we de superieure prestaties van deze aanpak in vergelijking met gevestigde diffusieformuleringen voor hoogwaardige tekst-naar-beeldsynthese. Daarnaast presenteren we een nieuwe transformer-gebaseerde architectuur voor tekst-naar-beeldgeneratie die afzonderlijke gewichten gebruikt voor de twee modaliteiten en een bidirectionele stroom van informatie mogelijk maakt tussen beeld- en teksttokens, wat het tekstbegrip, de typografie en de beoordelingen van menselijke voorkeur verbetert. We demonstreren dat deze architectuur voorspelbare schaalbaarheidstrends volgt en een lagere validatiefout correleert aan verbeterde tekst-naar-beeldsynthese, zoals gemeten door verschillende metrieken en menselijke evaluaties. Onze grootste modellen overtreffen state-of-the-art modellen, en we zullen onze experimentele data, code en modelgewichten publiekelijk beschikbaar maken.

English

Diffusion models create data from noise by inverting the forward paths of data towards noise and have emerged as a powerful generative modeling technique for high-dimensional, perceptual data such as images and videos. Rectified flow is a recent generative model formulation that connects data and noise in a straight line. Despite its better theoretical properties and conceptual simplicity, it is not yet decisively established as standard practice. In this work, we improve existing noise sampling techniques for training rectified flow models by biasing them towards perceptually relevant scales. Through a large-scale study, we demonstrate the superior performance of this approach compared to established diffusion formulations for high-resolution text-to-image synthesis. Additionally, we present a novel transformer-based architecture for text-to-image generation that uses separate weights for the two modalities and enables a bidirectional flow of information between image and text tokens, improving text comprehension, typography, and human preference ratings. We demonstrate that this architecture follows predictable scaling trends and correlates lower validation loss to improved text-to-image synthesis as measured by various metrics and human evaluations. Our largest models outperform state-of-the-art models, and we will make our experimental data, code, and model weights publicly available.