¿Hasta dónde podemos llegar con ImageNet para la generación de texto a imagen?

How far can we go with ImageNet for Text-to-Image generation?

February 28, 2025

Autores: L. Degeorge, A. Ghosh, N. Dufour, D. Picard, V. Kalogeiton

cs.AI

Resumen

Los modelos recientes de generación de texto a imagen (T2I) han logrado resultados notables al entrenarse en conjuntos de datos de escala de miles de millones, siguiendo un paradigma de "más grande es mejor" que prioriza la cantidad de datos sobre su calidad. Desafiamos este paradigma establecido al demostrar que la ampliación estratégica de datos en conjuntos pequeños y bien curados puede igualar o superar a los modelos entrenados con colecciones masivas extraídas de la web. Utilizando únicamente ImageNet mejorado con ampliaciones de texto e imagen bien diseñadas, logramos un puntaje general +2 sobre SD-XL en GenEval y +5 en DPGBench, mientras empleamos solo 1/10 de los parámetros y 1/1000 de las imágenes de entrenamiento. Nuestros resultados sugieren que la ampliación estratégica de datos, en lugar de conjuntos de datos masivos, podría ofrecer un camino más sostenible para la generación T2I.

English

Recent text-to-image (T2I) generation models have achieved remarkable results by training on billion-scale datasets, following a `bigger is better' paradigm that prioritizes data quantity over quality. We challenge this established paradigm by demonstrating that strategic data augmentation of small, well-curated datasets can match or outperform models trained on massive web-scraped collections. Using only ImageNet enhanced with well-designed text and image augmentations, we achieve a +2 overall score over SD-XL on GenEval and +5 on DPGBench while using just 1/10th the parameters and 1/1000th the training images. Our results suggest that strategic data augmentation, rather than massive datasets, could offer a more sustainable path forward for T2I generation.