OverLayBench: Een Benchmark voor Layout-naar-Afbeelding Generatie met Dichte Overlappingen

OverLayBench: A Benchmark for Layout-to-Image Generation with Dense Overlaps

September 23, 2025

Auteurs: Bingnan Li, Chen-Yu Wang, Haiyang Xu, Xiang Zhang, Ethan Armand, Divyansh Srivastava, Xiaojun Shan, Zeyuan Chen, Jianwen Xie, Zhuowen Tu

cs.AI

Samenvatting

Ondanks gestage vooruitgang in layout-naar-beeldgeneratie, hebben huidige methoden nog steeds moeite met lay-outs die aanzienlijke overlap tussen begrenzingsvakken bevatten. We identificeren twee primaire uitdagingen: (1) grote overlappende gebieden en (2) overlappende instanties met minimale semantische onderscheiding. Door zowel kwalitatieve voorbeelden als kwantitatieve analyse tonen we aan hoe deze factoren de generatiekwaliteit verminderen. Om dit probleem systematisch te beoordelen, introduceren we OverLayScore, een nieuwe metriek die de complexiteit van overlappende begrenzingsvakken kwantificeert. Onze analyse onthult dat bestaande benchmarks bevooroordeeld zijn naar eenvoudigere gevallen met lage OverLayScore-waarden, wat hun effectiviteit beperkt in het evalueren van modelprestaties onder meer uitdagende omstandigheden. Om deze kloof te overbruggen, presenteren we OverLayBench, een nieuwe benchmark met hoogwaardige annotaties en een gebalanceerde verdeling over verschillende niveaus van OverLayScore. Als eerste stap naar het verbeteren van prestaties op complexe overlaps, stellen we ook CreatiLayout-AM voor, een model afgestemd op een gecureerde amodale maskerdataset. Samen leggen onze bijdragen de basis voor robuustere layout-naar-beeldgeneratie onder realistische en uitdagende scenario's. Projectlink: https://mlpc-ucsd.github.io/OverLayBench.

English

Despite steady progress in layout-to-image generation, current methods still struggle with layouts containing significant overlap between bounding boxes. We identify two primary challenges: (1) large overlapping regions and (2) overlapping instances with minimal semantic distinction. Through both qualitative examples and quantitative analysis, we demonstrate how these factors degrade generation quality. To systematically assess this issue, we introduce OverLayScore, a novel metric that quantifies the complexity of overlapping bounding boxes. Our analysis reveals that existing benchmarks are biased toward simpler cases with low OverLayScore values, limiting their effectiveness in evaluating model performance under more challenging conditions. To bridge this gap, we present OverLayBench, a new benchmark featuring high-quality annotations and a balanced distribution across different levels of OverLayScore. As an initial step toward improving performance on complex overlaps, we also propose CreatiLayout-AM, a model fine-tuned on a curated amodal mask dataset. Together, our contributions lay the groundwork for more robust layout-to-image generation under realistic and challenging scenarios. Project link: https://mlpc-ucsd.github.io/OverLayBench.