DiffDecompose: Scomposizione Stratificata di Immagini Alpha-Composite tramite Trasformatori Diffusivi

DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers

May 24, 2025

Autori: Zitong Wang, Hang Zhao, Qianyu Zhou, Xuequan Lu, Xiangtai Li, Yiren Song

cs.AI

Abstract

I modelli di diffusione hanno recentemente ottenuto un grande successo in molte attività di generazione, come la rimozione di oggetti. Tuttavia, i metodi esistenti di decomposizione delle immagini faticano a separare le occlusioni di strati semi-trasparenti o trasparenti a causa delle dipendenze da maschere prioritarie, delle assunzioni statiche sugli oggetti e della mancanza di dataset. In questo articolo, approfondiamo un nuovo compito: la Decomposizione Stratificata di Immagini Alpha-Composite, con l'obiettivo di recuperare gli strati costitutivi da singole immagini sovrapposte in condizioni di occlusione non lineare di strati alpha semi-trasparenti/trasparenti. Per affrontare le sfide legate all'ambiguità degli strati, alla generalizzazione e alla scarsità di dati, introduciamo prima di tutto AlphaBlend, il primo dataset su larga scala e di alta qualità per la decomposizione di strati trasparenti e semi-trasparenti, che supporta sei sottocompiti del mondo reale (ad esempio, rimozione di riflessi traslucidi, decomposizione di cellule semi-trasparenti, decomposizione di vetreria). Basandoci su questo dataset, presentiamo DiffDecompose, un framework basato su Transformer di diffusione che apprende la distribuzione a posteriori sulle possibili decomposizioni degli strati condizionate all'immagine di input, ai prompt semantici e al tipo di fusione. Piuttosto che regredire direttamente le maschere alpha, DiffDecompose esegue una Decomposizione in Contesto, consentendo al modello di prevedere uno o più strati senza supervisione per strato, e introduce il Clonaggio della Codifica della Posizione degli Strati per mantenere la corrispondenza a livello di pixel tra gli strati. Esperimenti estesi sul dataset AlphaBlend proposto e sul dataset pubblico LOGO verificano l'efficacia di DiffDecompose. Il codice e il dataset saranno disponibili al momento dell'accettazione dell'articolo. Il nostro codice sarà disponibile all'indirizzo: https://github.com/Wangzt1121/DiffDecompose.

English

Diffusion models have recently motivated great success in many generation tasks like object removal. Nevertheless, existing image decomposition methods struggle to disentangle semi-transparent or transparent layer occlusions due to mask prior dependencies, static object assumptions, and the lack of datasets. In this paper, we delve into a novel task: Layer-Wise Decomposition of Alpha-Composited Images, aiming to recover constituent layers from single overlapped images under the condition of semi-transparent/transparent alpha layer non-linear occlusion. To address challenges in layer ambiguity, generalization, and data scarcity, we first introduce AlphaBlend, the first large-scale and high-quality dataset for transparent and semi-transparent layer decomposition, supporting six real-world subtasks (e.g., translucent flare removal, semi-transparent cell decomposition, glassware decomposition). Building on this dataset, we present DiffDecompose, a diffusion Transformer-based framework that learns the posterior over possible layer decompositions conditioned on the input image, semantic prompts, and blending type. Rather than regressing alpha mattes directly, DiffDecompose performs In-Context Decomposition, enabling the model to predict one or multiple layers without per-layer supervision, and introduces Layer Position Encoding Cloning to maintain pixel-level correspondence across layers. Extensive experiments on the proposed AlphaBlend dataset and public LOGO dataset verify the effectiveness of DiffDecompose. The code and dataset will be available upon paper acceptance. Our code will be available at: https://github.com/Wangzt1121/DiffDecompose.