OverLayBench: Бенчмарк для генерации изображений из макетов с плотными перекрытиями

OverLayBench: A Benchmark for Layout-to-Image Generation with Dense Overlaps

September 23, 2025

Авторы: Bingnan Li, Chen-Yu Wang, Haiyang Xu, Xiang Zhang, Ethan Armand, Divyansh Srivastava, Xiaojun Shan, Zeyuan Chen, Jianwen Xie, Zhuowen Tu

cs.AI

Аннотация

Несмотря на устойчивый прогресс в генерации изображений на основе макетов, современные методы по-прежнему сталкиваются с трудностями при работе с макетами, содержащими значительные пересечения между ограничивающими рамками. Мы выделяем две основные проблемы: (1) большие области пересечения и (2) пересекающиеся объекты с минимальной семантической различимостью. С помощью качественных примеров и количественного анализа мы демонстрируем, как эти факторы снижают качество генерации. Для систематической оценки этой проблемы мы вводим OverLayScore — новый метрический показатель, который количественно оценивает сложность пересекающихся ограничивающих рамок. Наш анализ показывает, что существующие тестовые наборы смещены в сторону более простых случаев с низкими значениями OverLayScore, что ограничивает их эффективность в оценке производительности моделей в более сложных условиях. Чтобы устранить этот пробел, мы представляем OverLayBench — новый тестовый набор с высококачественными аннотациями и сбалансированным распределением по различным уровням OverLayScore. В качестве первого шага к улучшению производительности на сложных пересечениях мы также предлагаем CreatiLayout-AM — модель, дообученную на тщательно отобранном наборе данных с амодальными масками. В совокупности наши результаты закладывают основу для более устойчивой генерации изображений на основе макетов в реалистичных и сложных сценариях. Ссылка на проект: https://mlpc-ucsd.github.io/OverLayBench.

English

Despite steady progress in layout-to-image generation, current methods still struggle with layouts containing significant overlap between bounding boxes. We identify two primary challenges: (1) large overlapping regions and (2) overlapping instances with minimal semantic distinction. Through both qualitative examples and quantitative analysis, we demonstrate how these factors degrade generation quality. To systematically assess this issue, we introduce OverLayScore, a novel metric that quantifies the complexity of overlapping bounding boxes. Our analysis reveals that existing benchmarks are biased toward simpler cases with low OverLayScore values, limiting their effectiveness in evaluating model performance under more challenging conditions. To bridge this gap, we present OverLayBench, a new benchmark featuring high-quality annotations and a balanced distribution across different levels of OverLayScore. As an initial step toward improving performance on complex overlaps, we also propose CreatiLayout-AM, a model fine-tuned on a curated amodal mask dataset. Together, our contributions lay the groundwork for more robust layout-to-image generation under realistic and challenging scenarios. Project link: https://mlpc-ucsd.github.io/OverLayBench.