Sobre a Escalabilidade da Geração de Imagens a partir de Texto Baseada em Difusão

Resumo

A ampliação do tamanho dos modelos e dos conjuntos de dados tem sido bastante bem-sucedida para a evolução dos LLMs (Modelos de Linguagem de Grande Escala). No entanto, a lei de escalonamento para modelos de texto para imagem (T2I) baseados em difusão ainda não foi totalmente explorada. Também não está claro como escalonar o modelo de forma eficiente para obter melhor desempenho com custo reduzido. As diferentes configurações de treinamento e o alto custo do processo tornam extremamente difícil uma comparação justa entre modelos. Neste trabalho, estudamos empiricamente as propriedades de escalonamento dos modelos T2I baseados em difusão, realizando extensas e rigorosas ablações no escalonamento tanto das arquiteturas de desruído quanto dos conjuntos de treinamento, incluindo o treinamento de variantes escalonadas de UNet e Transformer com parâmetros variando de 0,4B a 4B em conjuntos de dados de até 600M de imagens. Para o escalonamento de modelos, descobrimos que a localização e a quantidade de atenção cruzada distinguem o desempenho dos designs de UNet existentes. Além disso, aumentar o número de blocos de transformer é mais eficiente em termos de parâmetros para melhorar o alinhamento texto-imagem do que aumentar o número de canais. Identificamos então uma variante eficiente de UNet, que é 45% menor e 28% mais rápida que a UNet do SDXL. No lado do escalonamento de dados, mostramos que a qualidade e a diversidade do conjunto de treinamento importam mais do que simplesmente o tamanho do conjunto de dados. Aumentar a densidade e a diversidade das legendas melhora o desempenho do alinhamento texto-imagem e a eficiência de aprendizado. Por fim, fornecemos funções de escalonamento para prever o desempenho do alinhamento texto-imagem como funções da escala do tamanho do modelo, do poder computacional e do tamanho do conjunto de dados.

English

Scaling up model and data size has been quite successful for the evolution of LLMs. However, the scaling law for the diffusion based text-to-image (T2I) models is not fully explored. It is also unclear how to efficiently scale the model for better performance at reduced cost. The different training settings and expensive training cost make a fair model comparison extremely difficult. In this work, we empirically study the scaling properties of diffusion based T2I models by performing extensive and rigours ablations on scaling both denoising backbones and training set, including training scaled UNet and Transformer variants ranging from 0.4B to 4B parameters on datasets upto 600M images. For model scaling, we find the location and amount of cross attention distinguishes the performance of existing UNet designs. And increasing the transformer blocks is more parameter-efficient for improving text-image alignment than increasing channel numbers. We then identify an efficient UNet variant, which is 45% smaller and 28% faster than SDXL's UNet. On the data scaling side, we show the quality and diversity of the training set matters more than simply dataset size. Increasing caption density and diversity improves text-image alignment performance and the learning efficiency. Finally, we provide scaling functions to predict the text-image alignment performance as functions of the scale of model size, compute and dataset size.

Sobre a Escalabilidade da Geração de Imagens a partir de Texto Baseada em Difusão

On the Scalability of Diffusion-based Text-to-Image Generation

Resumo

Support