DiffDecompose: 拡散トランスフォーマーによるアルファ合成画像の層別分解

DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers

May 24, 2025

著者: Zitong Wang, Hang Zhao, Qianyu Zhou, Xuequan Lu, Xiangtai Li, Yiren Song

cs.AI

要旨

拡散モデルは最近、物体除去などの多くの生成タスクにおいて大きな成功を収めています。しかしながら、既存の画像分解手法は、マスク事前依存性、静的物体の仮定、データセットの不足により、半透明または透明なレイヤーのオクルージョンを分離するのに苦労しています。本論文では、半透明/透明なアルファレイヤーの非線形オクルージョンの条件下で、単一の重なり合った画像から構成レイヤーを復元することを目指す新しいタスク、アルファ合成画像のレイヤーごとの分解に取り組みます。レイヤーの曖昧さ、一般化、データ不足の課題に対処するため、まず初めての大規模で高品質な透明および半透明レイヤー分解のためのデータセットであるAlphaBlendを導入し、6つの実世界のサブタスク（例：半透明のフレア除去、半透明の細胞分解、ガラス製品の分解）をサポートします。このデータセットを基に、入力画像、セマンティックプロンプト、ブレンドタイプを条件とした可能なレイヤー分解の事後分布を学習する拡散TransformerベースのフレームワークであるDiffDecomposeを提案します。DiffDecomposeは、アルファマットを直接回帰するのではなく、コンテキスト内分解を実行し、レイヤーごとの教師なしで1つまたは複数のレイヤーを予測できるようにし、レイヤー間のピクセルレベルの対応を維持するためにレイヤー位置エンコーディングクローニングを導入します。提案されたAlphaBlendデータセットと公開されているLOGOデータセットでの広範な実験により、DiffDecomposeの有効性が検証されました。コードとデータセットは論文受理後に公開されます。私たちのコードは以下で利用可能です：https://github.com/Wangzt1121/DiffDecompose。

English

Diffusion models have recently motivated great success in many generation tasks like object removal. Nevertheless, existing image decomposition methods struggle to disentangle semi-transparent or transparent layer occlusions due to mask prior dependencies, static object assumptions, and the lack of datasets. In this paper, we delve into a novel task: Layer-Wise Decomposition of Alpha-Composited Images, aiming to recover constituent layers from single overlapped images under the condition of semi-transparent/transparent alpha layer non-linear occlusion. To address challenges in layer ambiguity, generalization, and data scarcity, we first introduce AlphaBlend, the first large-scale and high-quality dataset for transparent and semi-transparent layer decomposition, supporting six real-world subtasks (e.g., translucent flare removal, semi-transparent cell decomposition, glassware decomposition). Building on this dataset, we present DiffDecompose, a diffusion Transformer-based framework that learns the posterior over possible layer decompositions conditioned on the input image, semantic prompts, and blending type. Rather than regressing alpha mattes directly, DiffDecompose performs In-Context Decomposition, enabling the model to predict one or multiple layers without per-layer supervision, and introduces Layer Position Encoding Cloning to maintain pixel-level correspondence across layers. Extensive experiments on the proposed AlphaBlend dataset and public LOGO dataset verify the effectiveness of DiffDecompose. The code and dataset will be available upon paper acceptance. Our code will be available at: https://github.com/Wangzt1121/DiffDecompose.