生成によるマッティング

Matting by Generation

July 30, 2024

著者: Zhixiang Wang, Baiang Li, Jian Wang, Yu-Lun Liu, Jinwei Gu, Yung-Yu Chuang, Shin'ichi Satoh

cs.AI

要旨

本論文は、画像マット生成における革新的なアプローチを紹介する。従来の回帰ベースのタスクを生成モデリングの課題として再定義し、潜在拡散モデルの能力を活用して、事前学習された豊富な知識をマット生成プロセスに正則化として組み込む。我々は、高解像度かつ詳細なマットを生成するための新たなアーキテクチャ上の革新を提示する。提案手法は汎用性が高く、ガイダンスなしのマット生成と、様々な追加手がかりを活用したガイダンスベースのマット生成の両方を可能にする。3つのベンチマークデータセットを用いた包括的な評価により、定量的・定性的に優れた性能を実証した。結果は、本手法の堅牢な有効性を示すだけでなく、写真写実的な品質に迫る視覚的に魅力的なマットを生成する能力を強調している。本論文のプロジェクトページはhttps://lightchaserx.github.io/matting-by-generation/で公開されている。

English

This paper introduces an innovative approach for image matting that redefines the traditional regression-based task as a generative modeling challenge. Our method harnesses the capabilities of latent diffusion models, enriched with extensive pre-trained knowledge, to regularize the matting process. We present novel architectural innovations that empower our model to produce mattes with superior resolution and detail. The proposed method is versatile and can perform both guidance-free and guidance-based image matting, accommodating a variety of additional cues. Our comprehensive evaluation across three benchmark datasets demonstrates the superior performance of our approach, both quantitatively and qualitatively. The results not only reflect our method's robust effectiveness but also highlight its ability to generate visually compelling mattes that approach photorealistic quality. The project page for this paper is available at https://lightchaserx.github.io/matting-by-generation/