Over de schaalbaarheid van diffusie-gebaseerde tekst-naar-beeldgeneratie

Samenvatting

Het opschalen van model- en datagrootte is zeer succesvol gebleken voor de evolutie van LLM's. De schaalwetten voor op diffusie gebaseerde tekst-naar-beeld (T2I) modellen zijn echter nog niet volledig onderzocht. Het is ook onduidelijk hoe het model efficiënt kan worden opgeschaald voor betere prestaties tegen lagere kosten. De verschillende trainingsinstellingen en de hoge trainingskosten maken een eerlijke modelvergelijking buitengewoon moeilijk. In dit werk bestuderen we empirisch de schaaleigenschappen van op diffusie gebaseerde T2I-modellen door uitgebreide en rigoureuze ablatie-onderzoeken uit te voeren op het opschalen van zowel denoiser-backbones als trainingssets, inclusief het trainen van geschaalde UNet- en Transformer-varianten met parameters variërend van 0,4B tot 4B op datasets van maximaal 600M afbeeldingen. Voor het opschalen van modellen vinden we dat de locatie en hoeveelheid cross-attention de prestaties van bestaande UNet-ontwerpen onderscheiden. En het vergroten van het aantal transformer-blokken is parameter-efficiënter voor het verbeteren van tekst-beeld-uitlijning dan het vergroten van het aantal kanalen. Vervolgens identificeren we een efficiënte UNet-variant, die 45% kleiner en 28% sneller is dan de UNet van SDXL. Wat betreft het opschalen van data, laten we zien dat de kwaliteit en diversiteit van de trainingsset belangrijker zijn dan simpelweg de grootte van de dataset. Het verhogen van de dichtheid en diversiteit van bijschriften verbetert de tekst-beeld-uitlijningsprestaties en de leer efficiëntie. Tot slot bieden we schaalfuncties om de tekst-beeld-uitlijningsprestaties te voorspellen als functies van de schaal van modelgrootte, rekenkracht en datasetgrootte.

English

Scaling up model and data size has been quite successful for the evolution of LLMs. However, the scaling law for the diffusion based text-to-image (T2I) models is not fully explored. It is also unclear how to efficiently scale the model for better performance at reduced cost. The different training settings and expensive training cost make a fair model comparison extremely difficult. In this work, we empirically study the scaling properties of diffusion based T2I models by performing extensive and rigours ablations on scaling both denoising backbones and training set, including training scaled UNet and Transformer variants ranging from 0.4B to 4B parameters on datasets upto 600M images. For model scaling, we find the location and amount of cross attention distinguishes the performance of existing UNet designs. And increasing the transformer blocks is more parameter-efficient for improving text-image alignment than increasing channel numbers. We then identify an efficient UNet variant, which is 45% smaller and 28% faster than SDXL's UNet. On the data scaling side, we show the quality and diversity of the training set matters more than simply dataset size. Increasing caption density and diversity improves text-image alignment performance and the learning efficiency. Finally, we provide scaling functions to predict the text-image alignment performance as functions of the scale of model size, compute and dataset size.

Over de schaalbaarheid van diffusie-gebaseerde tekst-naar-beeldgeneratie

On the Scalability of Diffusion-based Text-to-Image Generation

Samenvatting

Support