DiffDecompose: Schichtweise Zerlegung von Alpha-komponierten Bildern mittels Diffusion-Transformatoren

DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers

May 24, 2025

Autoren: Zitong Wang, Hang Zhao, Qianyu Zhou, Xuequan Lu, Xiangtai Li, Yiren Song

cs.AI

Zusammenfassung

Diffusionsmodelle haben in letzter Zeit großen Erfolg in vielen Generierungsaufgaben wie der Objektentfernung motiviert. Dennoch kämpfen bestehende Methoden zur Bildzerlegung damit, halbtransparente oder transparente Schichtüberlagerungen zu entwirren, was auf Abhängigkeiten von Maskenpriors, statischen Objektannahmen und den Mangel an Datensätzen zurückzuführen ist. In diesem Artikel widmen wir uns einer neuartigen Aufgabe: der schichtweisen Zerlegung von Alpha-komponierten Bildern, mit dem Ziel, die zugrunde liegenden Schichten aus einzelnen überlagerten Bildern unter der Bedingung nicht-linearer Überlagerungen durch halbtransparente/transparente Alpha-Schichten wiederherzustellen. Um die Herausforderungen in Bezug auf Schichtmehrdeutigkeit, Generalisierung und Datenknappheit zu bewältigen, führen wir zunächst AlphaBlend ein, den ersten groß angelegten und hochwertigen Datensatz für die Zerlegung transparenter und halbtransparenter Schichten, der sechs reale Unteraufgaben unterstützt (z. B. die Entfernung von transluzenten Lichthöfen, die Zerlegung halbtransparenter Zellen, die Zerlegung von Glaswaren). Aufbauend auf diesem Datensatz präsentieren wir DiffDecompose, ein auf Diffusionstransformern basierendes Framework, das die A-posteriori-Verteilung über mögliche Schichtzerlegungen unter Berücksichtigung des Eingabebilds, semantischer Hinweise und des Mischtyps lernt. Anstatt Alpha-Matten direkt zu regressieren, führt DiffDecompose eine In-Context-Zerlegung durch, wodurch das Modell in der Lage ist, eine oder mehrere Schichten ohne pro-Schicht-Aufsicht vorherzusagen, und führt Layer Position Encoding Cloning ein, um die pixelgenaue Korrespondenz zwischen den Schichten zu erhalten. Umfangreiche Experimente auf dem vorgeschlagenen AlphaBlend-Datensatz und dem öffentlichen LOGO-Datensatz bestätigen die Wirksamkeit von DiffDecompose. Der Code und der Datensatz werden nach Annahme des Artikels verfügbar sein. Unser Code wird unter folgender Adresse verfügbar sein: https://github.com/Wangzt1121/DiffDecompose.

English

Diffusion models have recently motivated great success in many generation tasks like object removal. Nevertheless, existing image decomposition methods struggle to disentangle semi-transparent or transparent layer occlusions due to mask prior dependencies, static object assumptions, and the lack of datasets. In this paper, we delve into a novel task: Layer-Wise Decomposition of Alpha-Composited Images, aiming to recover constituent layers from single overlapped images under the condition of semi-transparent/transparent alpha layer non-linear occlusion. To address challenges in layer ambiguity, generalization, and data scarcity, we first introduce AlphaBlend, the first large-scale and high-quality dataset for transparent and semi-transparent layer decomposition, supporting six real-world subtasks (e.g., translucent flare removal, semi-transparent cell decomposition, glassware decomposition). Building on this dataset, we present DiffDecompose, a diffusion Transformer-based framework that learns the posterior over possible layer decompositions conditioned on the input image, semantic prompts, and blending type. Rather than regressing alpha mattes directly, DiffDecompose performs In-Context Decomposition, enabling the model to predict one or multiple layers without per-layer supervision, and introduces Layer Position Encoding Cloning to maintain pixel-level correspondence across layers. Extensive experiments on the proposed AlphaBlend dataset and public LOGO dataset verify the effectiveness of DiffDecompose. The code and dataset will be available upon paper acceptance. Our code will be available at: https://github.com/Wangzt1121/DiffDecompose.