MaGGIe: Matizado Gradual Guiado por Máscaras de Instancias Humanas

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Autores: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Resumen

El matteo humano es una tarea fundamental en el procesamiento de imágenes y videos, donde se extraen los píxeles del primer plano humano de la entrada. Trabajos previos han mejorado la precisión mediante guías adicionales o han mejorado la consistencia temporal de una sola instancia a lo largo de los fotogramas. Proponemos un nuevo marco llamado MaGGIe, Masked Guided Gradual Human Instance Matting, que predice progresivamente los mattes alfa para cada instancia humana mientras mantiene el costo computacional, la precisión y la consistencia. Nuestro método aprovecha arquitecturas modernas, incluyendo la atención de transformadores y la convolución dispersa, para generar todos los mattes de instancia simultáneamente sin aumentar excesivamente la memoria y la latencia. Aunque mantiene costos de inferencia constantes en escenarios de múltiples instancias, nuestro marco logra un rendimiento robusto y versátil en nuestros nuevos benchmarks sintetizados. Con benchmarks de matteo de imágenes y videos de mayor calidad, se introduce un enfoque novedoso de síntesis multi-instancia a partir de fuentes disponibles públicamente para aumentar la generalización de los modelos en escenarios del mundo real.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.