Wie weit können wir mit ImageNet bei der Text-zu-Bild-Generierung kommen?

How far can we go with ImageNet for Text-to-Image generation?

February 28, 2025

Autoren: L. Degeorge, A. Ghosh, N. Dufour, D. Picard, V. Kalogeiton

cs.AI

Zusammenfassung

Aktuelle Text-zu-Bild (T2I)-Generierungsmodelle haben bemerkenswerte Ergebnisse erzielt, indem sie auf Milliarden-großen Datensätzen trainiert wurden, wobei sie einem „Größer ist besser“-Paradigma folgten, das die Datenmenge über die Qualität stellt. Wir stellen dieses etablierte Paradigma in Frage, indem wir zeigen, dass strategische Datenanreicherung von kleinen, gut kuratierten Datensätzen Modelle übertreffen oder zumindest gleichziehen kann, die auf massiven, aus dem Web gescrapten Sammlungen trainiert wurden. Mit nur ImageNet, das durch gut gestaltete Text- und Bildanreicherungen erweitert wurde, erreichen wir eine Verbesserung von +2 Punkten gegenüber SD-XL auf GenEval und +5 auf DPGBench, während wir nur 1/10 der Parameter und 1/1000 der Trainingsbilder verwenden. Unsere Ergebnisse deuten darauf hin, dass strategische Datenanreicherung anstelle von massiven Datensätzen einen nachhaltigeren Weg für die T2I-Generierung bieten könnte.

English

Recent text-to-image (T2I) generation models have achieved remarkable results by training on billion-scale datasets, following a `bigger is better' paradigm that prioritizes data quantity over quality. We challenge this established paradigm by demonstrating that strategic data augmentation of small, well-curated datasets can match or outperform models trained on massive web-scraped collections. Using only ImageNet enhanced with well-designed text and image augmentations, we achieve a +2 overall score over SD-XL on GenEval and +5 on DPGBench while using just 1/10th the parameters and 1/1000th the training images. Our results suggest that strategic data augmentation, rather than massive datasets, could offer a more sustainable path forward for T2I generation.