LAION-SG: Ein erweitertes groß angelegtes Datenset zur Schulung komplexer Bild-Text-Modelle mit strukturellen Annotationen.

LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

December 11, 2024

Autoren: Zejian Li, Chenye Meng, Yize Li, Ling Yang, Shengyuan Zhang, Jiarui Ma, Jiayi Li, Guang Yang, Changyuan Yang, Zhiyuan Yang, Jinxiong Chang, Lingyun Sun

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte in der Text-zu-Bild (T2I)-Generierung bemerkenswerte Erfolge bei der Erzeugung hochwertiger Bilder aus Text gezeigt. Allerdings weisen bestehende T2I-Modelle eine verringerte Leistung bei der kompositorischen Bildgenerierung mit mehreren Objekten und komplexen Beziehungen auf. Wir führen dieses Problem auf Einschränkungen in bestehenden Datensätzen von Bild-Text-Paaren zurück, die präzise Interobjektbeziehungsannotationen nur unzureichend enthalten. Um dieses Problem zu lösen, haben wir LAION-SG erstellt, einen Datensatz im großen Maßstab mit hochwertigen strukturellen Annotationen von Szenengraphen (SG), die Attribute und Beziehungen mehrerer Objekte präzise beschreiben und so die semantische Struktur in komplexen Szenen effektiv darstellen. Basierend auf LAION-SG haben wir ein neues Grundlagenmodell SDXL-SG trainiert, um strukturelle Annotationsinformationen in den Generierungsprozess zu integrieren. Umfangreiche Experimente zeigen, dass fortschrittliche Modelle, die auf unserem LAION-SG trainiert wurden, signifikante Leistungsverbesserungen bei der Generierung komplexer Szenen im Vergleich zu Modellen auf bestehenden Datensätzen aufweisen. Zudem stellen wir CompSG-Bench vor, einen Benchmark, der Modelle bei der kompositorischen Bildgenerierung bewertet und einen neuen Standard für dieses Gebiet etabliert.

English

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.