Zur Skalierbarkeit der auf Diffusion basierenden Text-zu-Bild-Generierung

On the Scalability of Diffusion-based Text-to-Image Generation

April 3, 2024

Autoren: Hao Li, Yang Zou, Ying Wang, Orchid Majumder, Yusheng Xie, R. Manmatha, Ashwin Swaminathan, Zhuowen Tu, Stefano Ermon, Stefano Soatto

cs.AI

Zusammenfassung

Die Skalierung von Modell- und Datengröße war für die Evolution von LLMs sehr erfolgreich. Allerdings ist das Skalierungsgesetz für auf Diffusion basierende Text-zu-Bild (T2I)-Modelle noch nicht vollständig erforscht. Es ist auch unklar, wie das Modell effizient skaliert werden kann, um eine bessere Leistung bei reduzierten Kosten zu erzielen. Die unterschiedlichen Trainingskonfigurationen und die hohen Trainingskosten machen einen fairen Modellvergleich äußerst schwierig. In dieser Arbeit untersuchen wir empirisch die Skalierungseigenschaften von auf Diffusion basierenden T2I-Modellen, indem wir umfangreiche und strenge Ablationen sowohl an den Rauschunterdrückungsrückgraten als auch am Trainingssatz durchführen, einschließlich des Trainings skalierte UNet- und Transformer-Varianten mit Parametern von 0,4B bis 4B auf Datensätzen von bis zu 600 Millionen Bildern. Bei der Modellskalierung stellen wir fest, dass Ort und Menge der Kreuz-Aufmerksamkeit die Leistung der bestehenden UNet-Designs unterscheiden. Die Erhöhung der Transformer-Blöcke ist parameter-effizienter zur Verbesserung der Text-Bild-Ausrichtung als die Erhöhung der Kanalanzahl. Anschließend identifizieren wir eine effiziente UNet-Variante, die um 45 % kleiner und 28 % schneller ist als das UNet von SDXL. Auf der Datenskalierungsseite zeigen wir, dass Qualität und Vielfalt des Trainingssatzes wichtiger sind als nur die Datensatzgröße. Eine Erhöhung der Bildunterschriftendichte und -vielfalt verbessert die Leistung der Text-Bild-Ausrichtung und die Lerneffizienz. Schließlich stellen wir Skalierungsfunktionen bereit, um die Leistung der Text-Bild-Ausrichtung als Funktion der Modellgröße, Berechnung und Datensatzgröße vorherzusagen.

English

Scaling up model and data size has been quite successful for the evolution of LLMs. However, the scaling law for the diffusion based text-to-image (T2I) models is not fully explored. It is also unclear how to efficiently scale the model for better performance at reduced cost. The different training settings and expensive training cost make a fair model comparison extremely difficult. In this work, we empirically study the scaling properties of diffusion based T2I models by performing extensive and rigours ablations on scaling both denoising backbones and training set, including training scaled UNet and Transformer variants ranging from 0.4B to 4B parameters on datasets upto 600M images. For model scaling, we find the location and amount of cross attention distinguishes the performance of existing UNet designs. And increasing the transformer blocks is more parameter-efficient for improving text-image alignment than increasing channel numbers. We then identify an efficient UNet variant, which is 45% smaller and 28% faster than SDXL's UNet. On the data scaling side, we show the quality and diversity of the training set matters more than simply dataset size. Increasing caption density and diversity improves text-image alignment performance and the learning efficiency. Finally, we provide scaling functions to predict the text-image alignment performance as functions of the scale of model size, compute and dataset size.