Matting durch Generierung

Matting by Generation

July 30, 2024

Autoren: Zhixiang Wang, Baiang Li, Jian Wang, Yu-Lun Liu, Jinwei Gu, Yung-Yu Chuang, Shin'ichi Satoh

cs.AI

Zusammenfassung

Dieses Paper stellt einen innovativen Ansatz für Bildmatting vor, der die traditionelle regressionsbasierte Aufgabe als Herausforderung des generativen Modellierens neu definiert. Unsere Methode nutzt die Fähigkeiten latenter Diffusionsmodelle, angereichert mit umfangreichem vorab trainiertem Wissen, um den Matting-Prozess zu regulieren. Wir präsentieren neuartige architektonische Innovationen, die unserem Modell ermöglichen, Matten mit überlegender Auflösung und Detailtreue zu erzeugen. Die vorgeschlagene Methode ist vielseitig einsetzbar und kann sowohl beim guidancesfreien als auch beim guidancesbasierten Bildmatting eingesetzt werden, wobei sie eine Vielzahl zusätzlicher Hinweise berücksichtigt. Unsere umfassende Evaluation über drei Benchmark-Datensätze hinweg zeigt die überlegene Leistung unseres Ansatzes sowohl quantitativ als auch qualitativ. Die Ergebnisse spiegeln nicht nur die robuste Wirksamkeit unserer Methode wider, sondern betonen auch ihre Fähigkeit, visuell überzeugende Matten zu erzeugen, die eine fotorealistische Qualität erreichen. Die Projektseite zu diesem Paper ist verfügbar unter https://lightchaserx.github.io/matting-by-generation/

English

This paper introduces an innovative approach for image matting that redefines the traditional regression-based task as a generative modeling challenge. Our method harnesses the capabilities of latent diffusion models, enriched with extensive pre-trained knowledge, to regularize the matting process. We present novel architectural innovations that empower our model to produce mattes with superior resolution and detail. The proposed method is versatile and can perform both guidance-free and guidance-based image matting, accommodating a variety of additional cues. Our comprehensive evaluation across three benchmark datasets demonstrates the superior performance of our approach, both quantitatively and qualitatively. The results not only reflect our method's robust effectiveness but also highlight its ability to generate visually compelling mattes that approach photorealistic quality. The project page for this paper is available at https://lightchaserx.github.io/matting-by-generation/