OverLayBench: Un Benchmark per la Generazione da Layout a Immagine con Sovrapposizioni Dense

OverLayBench: A Benchmark for Layout-to-Image Generation with Dense Overlaps

September 23, 2025

Autori: Bingnan Li, Chen-Yu Wang, Haiyang Xu, Xiang Zhang, Ethan Armand, Divyansh Srivastava, Xiaojun Shan, Zeyuan Chen, Jianwen Xie, Zhuowen Tu

cs.AI

Abstract

Nonostante i progressi costanti nella generazione di immagini da layout, i metodi attuali continuano a incontrare difficoltà con layout che presentano una sovrapposizione significativa tra le bounding box. Identifichiamo due principali sfide: (1) regioni di sovrapposizione ampie e (2) istanze sovrapposte con una distinzione semantica minima. Attraverso esempi qualitativi e analisi quantitative, dimostriamo come questi fattori degradino la qualità della generazione. Per valutare sistematicamente questo problema, introduciamo OverLayScore, una nuova metrica che quantifica la complessità delle bounding box sovrapposte. La nostra analisi rivela che i benchmark esistenti sono orientati verso casi più semplici con valori bassi di OverLayScore, limitando la loro efficacia nella valutazione delle prestazioni dei modelli in condizioni più impegnative. Per colmare questa lacuna, presentiamo OverLayBench, un nuovo benchmark che offre annotazioni di alta qualità e una distribuzione bilanciata tra diversi livelli di OverLayScore. Come primo passo verso il miglioramento delle prestazioni su sovrapposizioni complesse, proponiamo anche CreatiLayout-AM, un modello ottimizzato su un dataset curato di maschere amodali. Insieme, i nostri contributi gettano le basi per una generazione di immagini da layout più robusta in scenari realistici e impegnativi. Link del progetto: https://mlpc-ucsd.github.io/OverLayBench.

English

Despite steady progress in layout-to-image generation, current methods still struggle with layouts containing significant overlap between bounding boxes. We identify two primary challenges: (1) large overlapping regions and (2) overlapping instances with minimal semantic distinction. Through both qualitative examples and quantitative analysis, we demonstrate how these factors degrade generation quality. To systematically assess this issue, we introduce OverLayScore, a novel metric that quantifies the complexity of overlapping bounding boxes. Our analysis reveals that existing benchmarks are biased toward simpler cases with low OverLayScore values, limiting their effectiveness in evaluating model performance under more challenging conditions. To bridge this gap, we present OverLayBench, a new benchmark featuring high-quality annotations and a balanced distribution across different levels of OverLayScore. As an initial step toward improving performance on complex overlaps, we also propose CreatiLayout-AM, a model fine-tuned on a curated amodal mask dataset. Together, our contributions lay the groundwork for more robust layout-to-image generation under realistic and challenging scenarios. Project link: https://mlpc-ucsd.github.io/OverLayBench.