MaGGIe: Маскированное пошаговое руководство человеческим выделением экземпляров

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Авторы: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Аннотация

Человеческое мэттинг является основной задачей в обработке изображений и видео, где извлекаются передние пиксели человека из входных данных. Предыдущие работы либо улучшают точность с помощью дополнительного руководства, либо повышают временную согласованность одного экземпляра на протяжении кадров. Мы предлагаем новую структуру MaGGIe, Маскированный Управляемый Постепенный Мэттинг Человеческого Экземпляра, которая прогнозирует альфа-маски постепенно для каждого человеческого экземпляра, сохраняя вычислительные затраты, точность и согласованность. Наш метод использует современные архитектуры, включая трансформаторное внимание и разреженную свертку, для одновременного вывода всех масок экземпляров без увеличения памяти и задержки. Несмотря на постоянные затраты на вывод в сценарии с несколькими экземплярами, наша структура достигает устойчивой и универсальной производительности на наших предложенных синтезированных бенчмарках. С более качественными бенчмарками по мэттингу изображений и видео представлен новый мульти-экземплярный синтезный подход из общедоступных источников для увеличения обобщения моделей в реальных сценариях.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.