О масштабируемости генерации изображений на основе диффузии текста.

On the Scalability of Diffusion-based Text-to-Image Generation

April 3, 2024

Авторы: Hao Li, Yang Zou, Ying Wang, Orchid Majumder, Yusheng Xie, R. Manmatha, Ashwin Swaminathan, Zhuowen Tu, Stefano Ermon, Stefano Soatto

cs.AI

Аннотация

Масштабирование размера модели и данных оказалось довольно успешным для развития LLMs. Однако законы масштабирования для моделей текст-к изображению (T2I) на основе диффузии пока не до конца изучены. Также неясно, как эффективно масштабировать модель для улучшения производительности при сниженных затратах. Различные настройки обучения и высокие затраты на обучение делают честное сравнение моделей чрезвычайно сложным. В данной работе мы эмпирически изучаем свойства масштабирования моделей T2I на основе диффузии, проводя обширные и строгие исследования по масштабированию как основных компонентов удаления шума, так и обучающего набора, включая обучение масштабированных вариантов UNet и трансформеров с числом параметров от 0.4B до 4B на наборах данных до 600 млн изображений. При масштабировании модели мы обнаружили, что расположение и количество кросс-внимания различают производительность существующих конструкций UNet. Увеличение блоков трансформера более параметроэффективно для улучшения согласования текст-изображение, чем увеличение числа каналов. Затем мы выявили эффективный вариант UNet, который на 45% меньше и на 28% быстрее, чем UNet SDXL. На стороне масштабирования данных мы показываем, что качество и разнообразие обучающего набора имеют большее значение, чем просто размер набора данных. Увеличение плотности и разнообразия подписей улучшает производительность согласования текст-изображение и эффективность обучения. Наконец, мы предоставляем функции масштабирования для прогнозирования производительности согласования текст-изображение как функции от масштаба размера модели, вычислений и размера набора данных.

English

Scaling up model and data size has been quite successful for the evolution of LLMs. However, the scaling law for the diffusion based text-to-image (T2I) models is not fully explored. It is also unclear how to efficiently scale the model for better performance at reduced cost. The different training settings and expensive training cost make a fair model comparison extremely difficult. In this work, we empirically study the scaling properties of diffusion based T2I models by performing extensive and rigours ablations on scaling both denoising backbones and training set, including training scaled UNet and Transformer variants ranging from 0.4B to 4B parameters on datasets upto 600M images. For model scaling, we find the location and amount of cross attention distinguishes the performance of existing UNet designs. And increasing the transformer blocks is more parameter-efficient for improving text-image alignment than increasing channel numbers. We then identify an efficient UNet variant, which is 45% smaller and 28% faster than SDXL's UNet. On the data scaling side, we show the quality and diversity of the training set matters more than simply dataset size. Increasing caption density and diversity improves text-image alignment performance and the learning efficiency. Finally, we provide scaling functions to predict the text-image alignment performance as functions of the scale of model size, compute and dataset size.