MaGGIe: Gemaskeerde Geleidelijke Menselijke Instantie Matting

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Auteurs: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Samenvatting

Human matting is een fundamentele taak in beeld- en videoverwerking, waarbij menselijke voorgrondpixels worden geëxtraheerd uit de invoer. Eerdere werken verbeteren ofwel de nauwkeurigheid door aanvullende begeleiding ofwel de temporele consistentie van een enkel exemplaar over frames heen. Wij stellen een nieuw framework voor, MaGGIe (Masked Guided Gradual Human Instance Matting), dat alfa-matten progressief voorspelt voor elk menselijk exemplaar terwijl de rekenkosten, precisie en consistentie behouden blijven. Onze methode maakt gebruik van moderne architecturen, waaronder transformer-attentie en sparse convolutie, om alle exemplaar-matten gelijktijdig uit te voeren zonder dat het geheugen en de latentie exploderen. Hoewel de inferentiekosten constant blijven in het scenario met meerdere exemplaren, bereikt ons framework robuuste en veelzijdige prestaties op onze voorgestelde gesynthetiseerde benchmarks. Met de hogere kwaliteit beeld- en videomatting benchmarks wordt de nieuwe multi-exemplaar synthese-aanpak uit publiek beschikbare bronnen geïntroduceerd om de generalisatie van modellen in real-world scenario's te vergroten.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.