DiffDecompose: Laaggewijze Ontleding van Alpha-Samengestelde Afbeeldingen via Diffusie Transformers

DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers

May 24, 2025

Auteurs: Zitong Wang, Hang Zhao, Qianyu Zhou, Xuequan Lu, Xiangtai Li, Yiren Song

cs.AI

Samenvatting

Diffusiemodellen hebben recentelijk groot succes geboekt in veel generatietaken, zoals objectverwijdering. Desalniettemin worstelen bestaande methoden voor beeldontleding met het ontwarren van semi-transparante of transparante laagocclusies vanwege afhankelijkheden van maskerprioriteiten, statische objectaannames en het gebrek aan datasets. In dit artikel verdiepen we ons in een nieuwe taak: Laaggewijze Ontleding van Alpha-Samengestelde Beelden, met als doel de samenstellende lagen te herstellen uit enkele overlappende beelden onder de voorwaarde van semi-transparante/transparante alfa-laag niet-lineaire occlusie. Om uitdagingen op het gebied van laagambiguïteit, generalisatie en dataschaarste aan te pakken, introduceren we eerst AlphaBlend, de eerste grootschalige en hoogwaardige dataset voor transparante en semi-transparante laagontleding, die zes real-world subtaken ondersteunt (bijvoorbeeld verwijdering van doorschijnende lensflare, ontleding van semi-transparante cellen, ontleding van glaswerk). Op basis van deze dataset presenteren we DiffDecompose, een op diffusie-Transformers gebaseerd raamwerk dat de posterior leert over mogelijke laagontledingen, geconditioneerd op het invoerbeeld, semantische prompts en het blendtype. In plaats van alfa-matten direct te regresseren, voert DiffDecompose In-Context Ontleding uit, waardoor het model één of meerdere lagen kan voorspellen zonder per-laagsupervisie, en introduceert het Layer Position Encoding Cloning om pixelniveau-correspondentie tussen lagen te behouden. Uitgebreide experimenten op de voorgestelde AlphaBlend-dataset en de openbare LOGO-dataset bevestigen de effectiviteit van DiffDecompose. De code en dataset zullen beschikbaar worden gesteld na acceptatie van het artikel. Onze code zal beschikbaar zijn op: https://github.com/Wangzt1121/DiffDecompose.

English

Diffusion models have recently motivated great success in many generation tasks like object removal. Nevertheless, existing image decomposition methods struggle to disentangle semi-transparent or transparent layer occlusions due to mask prior dependencies, static object assumptions, and the lack of datasets. In this paper, we delve into a novel task: Layer-Wise Decomposition of Alpha-Composited Images, aiming to recover constituent layers from single overlapped images under the condition of semi-transparent/transparent alpha layer non-linear occlusion. To address challenges in layer ambiguity, generalization, and data scarcity, we first introduce AlphaBlend, the first large-scale and high-quality dataset for transparent and semi-transparent layer decomposition, supporting six real-world subtasks (e.g., translucent flare removal, semi-transparent cell decomposition, glassware decomposition). Building on this dataset, we present DiffDecompose, a diffusion Transformer-based framework that learns the posterior over possible layer decompositions conditioned on the input image, semantic prompts, and blending type. Rather than regressing alpha mattes directly, DiffDecompose performs In-Context Decomposition, enabling the model to predict one or multiple layers without per-layer supervision, and introduces Layer Position Encoding Cloning to maintain pixel-level correspondence across layers. Extensive experiments on the proposed AlphaBlend dataset and public LOGO dataset verify the effectiveness of DiffDecompose. The code and dataset will be available upon paper acceptance. Our code will be available at: https://github.com/Wangzt1121/DiffDecompose.