LAION-SG: Um Conjunto de Dados em Grande Escala Aprimorado para Treinamento de Modelos Complexos de Imagem-Texto com Anotações Estruturais

LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

December 11, 2024

Autores: Zejian Li, Chenye Meng, Yize Li, Ling Yang, Shengyuan Zhang, Jiarui Ma, Jiayi Li, Guang Yang, Changyuan Yang, Zhiyuan Yang, Jinxiong Chang, Lingyun Sun

cs.AI

Resumo

Os avanços recentes na geração de texto para imagem (T2I) têm demonstrado sucesso notável na produção de imagens de alta qualidade a partir de texto. No entanto, os modelos T2I existentes apresentam desempenho decaído na geração de imagem com composição envolvendo múltiplos objetos e relações intrincadas. Atribuímos esse problema às limitações nos conjuntos de dados existentes de pares imagem-texto, que carecem de anotações precisas de relações entre objetos com apenas sugestões. Para resolver esse problema, construímos LAION-SG, um conjunto de dados em grande escala com anotações estruturais de grafo de cena (SG), que descrevem precisamente atributos e relações de múltiplos objetos, representando efetivamente a estrutura semântica em cenas complexas. Com base em LAION-SG, treinamos um novo modelo fundamental SDXL-SG para incorporar informações de anotação estrutural no processo de geração. Experimentos extensivos mostram que modelos avançados treinados em nosso LAION-SG apresentam melhorias significativas de desempenho na geração de cenas complexas em comparação com modelos em conjuntos de dados existentes. Também introduzimos o CompSG-Bench, um benchmark que avalia modelos na geração de imagem com composição, estabelecendo um novo padrão para este domínio.

English

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.