MaGGIe : Matting progressif guidé par masque pour les instances humaines

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Auteurs: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Résumé

Le matting humain est une tâche fondamentale dans le traitement d'images et de vidéos, où les pixels de premier plan humains sont extraits de l'entrée. Les travaux antérieurs améliorent soit la précision par des guidages supplémentaires, soit la cohérence temporelle d'une seule instance à travers les images. Nous proposons un nouveau cadre, MaGGIe (Masked Guided Gradual Human Instance Matting), qui prédit progressivement les mattes alpha pour chaque instance humaine tout en maintenant le coût de calcul, la précision et la cohérence. Notre méthode exploite des architectures modernes, incluant l'attention par transformateur et la convolution parcimonieuse, pour produire simultanément toutes les mattes d'instance sans explosion de la mémoire et de la latence. Bien que conservant des coûts d'inférence constants dans le scénario multi-instance, notre cadre atteint des performances robustes et polyvalentes sur nos nouveaux benchmarks synthétisés. Avec des benchmarks de matting d'images et de vidéos de plus haute qualité, une nouvelle approche de synthèse multi-instance à partir de sources publiquement disponibles est introduite pour augmenter la généralisation des modèles dans des scénarios réels.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.