MaGGIe: Matização Gradual Guiada por Máscara de Instâncias Humanas

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Autores: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Resumo

A matização humana é uma tarefa fundamental no processamento de imagens e vídeos, na qual os pixels do primeiro plano humano são extraídos da entrada. Trabalhos anteriores buscam melhorar a precisão por meio de orientações adicionais ou aprimorar a consistência temporal de uma única instância ao longo dos quadros. Propomos um novo framework, o MaGGIe (Masked Guided Gradual Human Instance Matting), que prevê matizes alfa progressivamente para cada instância humana, mantendo o custo computacional, a precisão e a consistência. Nosso método aproveita arquiteturas modernas, incluindo atenção de transformers e convolução esparsa, para gerar todas as matizes de instância simultaneamente sem aumentar excessivamente a memória e a latência. Embora mantenha custos de inferência constantes no cenário de múltiplas instâncias, nosso framework alcança um desempenho robusto e versátil em nossos benchmarks sintetizados propostos. Com benchmarks de matização de imagem e vídeo de maior qualidade, introduzimos uma nova abordagem de síntese de múltiplas instâncias a partir de fontes publicamente disponíveis para aumentar a generalização dos modelos em cenários do mundo real.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.