DiffDecompose: Decomposição Camada a Camada de Imagens Alpha-Composited via Transformers de Difusão

DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers

May 24, 2025

Autores: Zitong Wang, Hang Zhao, Qianyu Zhou, Xuequan Lu, Xiangtai Li, Yiren Song

cs.AI

Resumo

Os modelos de difusão têm recentemente motivado grande sucesso em muitas tarefas de geração, como a remoção de objetos. No entanto, os métodos existentes de decomposição de imagens lutam para separar oclusões de camadas semi-transparentes ou transparentes devido a dependências de máscaras prévias, suposições estáticas de objetos e a falta de conjuntos de dados. Neste artigo, exploramos uma nova tarefa: a Decomposição Camada a Camada de Imagens Alpha-Compostas, visando recuperar camadas constituintes a partir de imagens sobrepostas únicas sob a condição de oclusão não linear de camadas alpha semi-transparentes/transparentes. Para abordar os desafios de ambiguidade de camadas, generalização e escassez de dados, primeiro introduzimos o AlphaBlend, o primeiro conjunto de dados em larga escala e de alta qualidade para decomposição de camadas transparentes e semi-transparentes, suportando seis subtarefas do mundo real (por exemplo, remoção de flare translúcido, decomposição de células semi-transparentes, decomposição de vidrarias). Com base nesse conjunto de dados, apresentamos o DiffDecompose, um framework baseado em Transformers de difusão que aprende a posteriori sobre possíveis decomposições de camadas condicionadas à imagem de entrada, prompts semânticos e tipo de mesclagem. Em vez de regredir diretamente os mattes alpha, o DiffDecompose realiza a Decomposição em Contexto, permitindo que o modelo preveja uma ou múltiplas camadas sem supervisão por camada, e introduz a Clonagem de Codificação de Posição de Camada para manter a correspondência em nível de pixel entre as camadas. Experimentos extensivos no conjunto de dados AlphaBlend proposto e no conjunto de dados público LOGO verificam a eficácia do DiffDecompose. O código e o conjunto de dados estarão disponíveis após a aceitação do artigo. Nosso código estará disponível em: https://github.com/Wangzt1121/DiffDecompose.

English

Diffusion models have recently motivated great success in many generation tasks like object removal. Nevertheless, existing image decomposition methods struggle to disentangle semi-transparent or transparent layer occlusions due to mask prior dependencies, static object assumptions, and the lack of datasets. In this paper, we delve into a novel task: Layer-Wise Decomposition of Alpha-Composited Images, aiming to recover constituent layers from single overlapped images under the condition of semi-transparent/transparent alpha layer non-linear occlusion. To address challenges in layer ambiguity, generalization, and data scarcity, we first introduce AlphaBlend, the first large-scale and high-quality dataset for transparent and semi-transparent layer decomposition, supporting six real-world subtasks (e.g., translucent flare removal, semi-transparent cell decomposition, glassware decomposition). Building on this dataset, we present DiffDecompose, a diffusion Transformer-based framework that learns the posterior over possible layer decompositions conditioned on the input image, semantic prompts, and blending type. Rather than regressing alpha mattes directly, DiffDecompose performs In-Context Decomposition, enabling the model to predict one or multiple layers without per-layer supervision, and introduces Layer Position Encoding Cloning to maintain pixel-level correspondence across layers. Extensive experiments on the proposed AlphaBlend dataset and public LOGO dataset verify the effectiveness of DiffDecompose. The code and dataset will be available upon paper acceptance. Our code will be available at: https://github.com/Wangzt1121/DiffDecompose.