생성을 통한 매팅

초록

본 논문은 이미지 매팅(image matting)을 위한 혁신적인 접근 방식을 소개하며, 전통적인 회귀 기반 작업을 생성 모델링 문제로 재정의합니다. 우리의 방법은 사전 학습된 광범위한 지식을 활용한 잠재 확산 모델(latent diffusion models)의 능력을 이용하여 매팅 프로세스를 정규화합니다. 우리는 모델이 더 높은 해상도와 세부 사항을 가진 매트를 생성할 수 있도록 하는 새로운 아키텍처 혁신을 제시합니다. 제안된 방법은 다재다능하며, 다양한 추가 단서를 수용할 수 있는 가이드 없는(guidance-free) 및 가이드 기반(guidance-based) 이미지 매팅을 모두 수행할 수 있습니다. 세 가지 벤치마크 데이터셋에 걸친 포괄적인 평가를 통해 우리의 접근 방식이 양적 및 질적으로 우수한 성능을 보임을 입증합니다. 결과는 우리 방법의 강력한 효과뿐만 아니라, 사실적인 품질에 근접한 시각적으로 매력적인 매트를 생성하는 능력을 강조합니다. 본 논문의 프로젝트 페이지는 https://lightchaserx.github.io/matting-by-generation/에서 확인할 수 있습니다.

English

This paper introduces an innovative approach for image matting that redefines the traditional regression-based task as a generative modeling challenge. Our method harnesses the capabilities of latent diffusion models, enriched with extensive pre-trained knowledge, to regularize the matting process. We present novel architectural innovations that empower our model to produce mattes with superior resolution and detail. The proposed method is versatile and can perform both guidance-free and guidance-based image matting, accommodating a variety of additional cues. Our comprehensive evaluation across three benchmark datasets demonstrates the superior performance of our approach, both quantitatively and qualitatively. The results not only reflect our method's robust effectiveness but also highlight its ability to generate visually compelling mattes that approach photorealistic quality. The project page for this paper is available at https://lightchaserx.github.io/matting-by-generation/

생성을 통한 매팅

Matting by Generation

초록

Summary

Support

Support