Até onde podemos ir com o ImageNet para a geração de texto para imagem?

How far can we go with ImageNet for Text-to-Image generation?

February 28, 2025

Autores: L. Degeorge, A. Ghosh, N. Dufour, D. Picard, V. Kalogeiton

cs.AI

Resumo

Modelos recentes de geração de texto para imagem (T2I) alcançaram resultados notáveis ao serem treinados em conjuntos de dados em escala de bilhões, seguindo um paradigma de "quanto maior, melhor" que prioriza a quantidade de dados em detrimento da qualidade. Desafiamos esse paradigma estabelecido ao demonstrar que a ampliação estratégica de dados em conjuntos pequenos e bem curados pode igualar ou superar modelos treinados em coleções massivas extraídas da web. Utilizando apenas o ImageNet aprimorado com ampliações de texto e imagem bem projetadas, alcançamos uma pontuação geral +2 em relação ao SD-XL no GenEval e +5 no DPGBench, enquanto usamos apenas 1/10 dos parâmetros e 1/1000 das imagens de treinamento. Nossos resultados sugerem que a ampliação estratégica de dados, em vez de conjuntos de dados massivos, pode oferecer um caminho mais sustentável para a geração T2I.

English

Recent text-to-image (T2I) generation models have achieved remarkable results by training on billion-scale datasets, following a `bigger is better' paradigm that prioritizes data quantity over quality. We challenge this established paradigm by demonstrating that strategic data augmentation of small, well-curated datasets can match or outperform models trained on massive web-scraped collections. Using only ImageNet enhanced with well-designed text and image augmentations, we achieve a +2 overall score over SD-XL on GenEval and +5 on DPGBench while using just 1/10th the parameters and 1/1000th the training images. Our results suggest that strategic data augmentation, rather than massive datasets, could offer a more sustainable path forward for T2I generation.