OverLayBench: Um Benchmark para Geração de Layout-para-Imagem com Sobreposições Densas

OverLayBench: A Benchmark for Layout-to-Image Generation with Dense Overlaps

September 23, 2025

Autores: Bingnan Li, Chen-Yu Wang, Haiyang Xu, Xiang Zhang, Ethan Armand, Divyansh Srivastava, Xiaojun Shan, Zeyuan Chen, Jianwen Xie, Zhuowen Tu

cs.AI

Resumo

Apesar do progresso constante na geração de imagens a partir de layouts, os métodos atuais ainda enfrentam dificuldades com layouts que contêm sobreposições significativas entre caixas delimitadoras. Identificamos dois desafios principais: (1) grandes regiões sobrepostas e (2) instâncias sobrepostas com distinção semântica mínima. Por meio de exemplos qualitativos e análises quantitativas, demonstramos como esses fatores degradam a qualidade da geração. Para avaliar sistematicamente esse problema, introduzimos o OverLayScore, uma nova métrica que quantifica a complexidade das caixas delimitadoras sobrepostas. Nossa análise revela que os benchmarks existentes são tendenciosos para casos mais simples com valores baixos de OverLayScore, limitando sua eficácia na avaliação do desempenho dos modelos em condições mais desafiadoras. Para preencher essa lacuna, apresentamos o OverLayBench, um novo benchmark que apresenta anotações de alta qualidade e uma distribuição equilibrada em diferentes níveis de OverLayScore. Como um passo inicial para melhorar o desempenho em sobreposições complexas, também propomos o CreatiLayout-AM, um modelo ajustado em um conjunto de dados de máscaras amodais cuidadosamente selecionado. Juntas, nossas contribuições estabelecem as bases para uma geração de imagens a partir de layouts mais robusta em cenários realistas e desafiadores. Link do projeto: https://mlpc-ucsd.github.io/OverLayBench.

English

Despite steady progress in layout-to-image generation, current methods still struggle with layouts containing significant overlap between bounding boxes. We identify two primary challenges: (1) large overlapping regions and (2) overlapping instances with minimal semantic distinction. Through both qualitative examples and quantitative analysis, we demonstrate how these factors degrade generation quality. To systematically assess this issue, we introduce OverLayScore, a novel metric that quantifies the complexity of overlapping bounding boxes. Our analysis reveals that existing benchmarks are biased toward simpler cases with low OverLayScore values, limiting their effectiveness in evaluating model performance under more challenging conditions. To bridge this gap, we present OverLayBench, a new benchmark featuring high-quality annotations and a balanced distribution across different levels of OverLayScore. As an initial step toward improving performance on complex overlaps, we also propose CreatiLayout-AM, a model fine-tuned on a curated amodal mask dataset. Together, our contributions lay the groundwork for more robust layout-to-image generation under realistic and challenging scenarios. Project link: https://mlpc-ucsd.github.io/OverLayBench.