LAION-SG: Улучшенный крупномасштабный набор данных для обучения сложных моделей изображений и текста с структурными аннотациями

LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

December 11, 2024

Авторы: Zejian Li, Chenye Meng, Yize Li, Ling Yang, Shengyuan Zhang, Jiarui Ma, Jiayi Li, Guang Yang, Changyuan Yang, Zhiyuan Yang, Jinxiong Chang, Lingyun Sun

cs.AI

Аннотация

Недавние достижения в генерации изображений из текста (T2I) показали выдающийся успех в создании высококачественных изображений по тексту. Однако существующие модели T2I демонстрируют ухудшение производительности в генерации композиционных изображений, включающих в себя несколько объектов и сложные отношения. Мы связываем эту проблему с ограничениями существующих наборов данных изображений и текста, которые лишены точных аннотаций межобъектных отношений, представленных только подсказками. Для решения этой проблемы мы создаем LAION-SG, крупномасштабный набор данных с высококачественными структурными аннотациями сценарных графов (SG), которые точно описывают атрибуты и отношения между несколькими объектами, эффективно представляя семантическую структуру в сложных сценах. Основываясь на LAION-SG, мы обучаем новую базовую модель SDXL-SG, чтобы включить информацию структурной аннотации в процесс генерации. Обширные эксперименты показывают, что продвинутые модели, обученные на нашем наборе данных LAION-SG, демонстрируют значительное улучшение производительности в генерации сложных сцен по сравнению с моделями на существующих наборах данных. Мы также представляем CompSG-Bench, бенчмарк, который оценивает модели в генерации композиционных изображений, устанавливая новый стандарт для этой области.

English

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.