Матирование методом генерации

Matting by Generation

July 30, 2024

Авторы: Zhixiang Wang, Baiang Li, Jian Wang, Yu-Lun Liu, Jinwei Gu, Yung-Yu Chuang, Shin'ichi Satoh

cs.AI

Аннотация

Эта статья представляет инновационный подход к матированию изображений, который переосмысливает традиционную задачу на основе регрессии как задачу генеративного моделирования. Наш метод использует возможности моделей латентной диффузии, обогащенных обширными предварительно обученными знаниями, для регуляризации процесса матирования. Мы представляем новые архитектурные инновации, которые делают нашу модель способной создавать маски с превосходным разрешением и деталями. Предложенный метод универсален и способен выполнять как матирование изображений без руководства, так и на основе руководства, учитывая различные дополнительные подсказки. Наше всестороннее оценивание на трех стандартных наборах данных демонстрирует превосходное качество работы нашего подхода как количественно, так и качественно. Результаты не только отражают эффективность нашего метода, но и подчеркивают его способность генерировать визуально убедительные маски, приближающиеся к фотореалистичному качеству. Страница проекта для этой статьи доступна по адресу https://lightchaserx.github.io/matting-by-generation/

English

This paper introduces an innovative approach for image matting that redefines the traditional regression-based task as a generative modeling challenge. Our method harnesses the capabilities of latent diffusion models, enriched with extensive pre-trained knowledge, to regularize the matting process. We present novel architectural innovations that empower our model to produce mattes with superior resolution and detail. The proposed method is versatile and can perform both guidance-free and guidance-based image matting, accommodating a variety of additional cues. Our comprehensive evaluation across three benchmark datasets demonstrates the superior performance of our approach, both quantitatively and qualitatively. The results not only reflect our method's robust effectiveness but also highlight its ability to generate visually compelling mattes that approach photorealistic quality. The project page for this paper is available at https://lightchaserx.github.io/matting-by-generation/