MaGGIe: Mascheramento Graduale Guidato di Istanza Umana

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Autori: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Abstract

Il matting umano è un compito fondamentale nell'elaborazione di immagini e video, in cui i pixel in primo piano umani vengono estratti dall'input. I lavori precedenti migliorano l'accuratezza attraverso ulteriori guide o migliorano la coerenza temporale di una singola istanza tra i fotogrammi. Proponiamo un nuovo framework chiamato MaGGIe, Masked Guided Gradual Human Instance Matting, che prevede progressivamente i matte alfa per ciascuna istanza umana mantenendo i costi computazionali, la precisione e la coerenza. Il nostro metodo sfrutta architetture moderne, inclusa l'attenzione transformer e la convoluzione sparsa, per produrre simultaneamente tutti i matte delle istanze senza esplodere la memoria e la latenza. Pur mantenendo costi di inferenza costanti nello scenario multi-istanza, il nostro framework raggiunge prestazioni robuste e versatili sui nostri benchmark sintetizzati proposti. Con benchmark di matting per immagini e video di qualità superiore, viene introdotto un nuovo approccio di sintesi multi-istanza da fonti pubbliche per aumentare la generalizzazione dei modelli negli scenari del mondo reale.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.