LAION-SG: Un conjunto de datos a gran escala mejorado para entrenar modelos complejos de imágenes y texto con anotaciones estructurales

LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

December 11, 2024

Autores: Zejian Li, Chenye Meng, Yize Li, Ling Yang, Shengyuan Zhang, Jiarui Ma, Jiayi Li, Guang Yang, Changyuan Yang, Zhiyuan Yang, Jinxiong Chang, Lingyun Sun

cs.AI

Resumen

Los avances recientes en la generación de texto a imagen (T2I) han demostrado un éxito notable en la producción de imágenes de alta calidad a partir de texto. Sin embargo, los modelos T2I existentes muestran un rendimiento degradado en la generación de imágenes compuestas que involucran múltiples objetos y relaciones intrincadas. Atribuimos este problema a las limitaciones en los conjuntos de datos existentes de pares imagen-texto, que carecen de anotaciones precisas de las relaciones entre objetos con solo indicaciones. Para abordar este problema, construimos LAION-SG, un conjunto de datos a gran escala con anotaciones estructurales de grafos de escena (SG), que describen con precisión atributos y relaciones de múltiples objetos, representando efectivamente la estructura semántica en escenas complejas. Basándonos en LAION-SG, entrenamos un nuevo modelo base, SDXL-SG, para incorporar información de anotación estructural en el proceso de generación. Experimentos extensos muestran que los modelos avanzados entrenados en nuestro conjunto de datos LAION-SG presentan mejoras significativas en el rendimiento en la generación de escenas complejas en comparación con los modelos en conjuntos de datos existentes. También presentamos CompSG-Bench, un banco de pruebas que evalúa modelos en la generación de imágenes compuestas, estableciendo un nuevo estándar para este dominio.

English

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.