MaGGIe: Maskiertes Geführtes Schrittweises Menschliches Instanz-Matting

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

Autoren: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

Zusammenfassung

Die menschliche Freistellung ist eine grundlegende Aufgabe in der Bild- und Videobearbeitung, bei der Vordergrundpixel des Menschen aus der Eingabe extrahiert werden. Frühere Arbeiten verbessern entweder die Genauigkeit durch zusätzliche Anleitung oder die zeitliche Konsistenz einer einzelnen Instanz über Frames hinweg. Wir schlagen ein neues Framework MaGGIe vor, Maskiertes Geführtes Schrittweises Menschliches Instanz-Freistellen, das Alpha-Masken progressiv für jede menschliche Instanz vorhersagt, während die Rechenkosten, Präzision und Konsistenz erhalten bleiben. Unsere Methode nutzt moderne Architekturen, einschließlich Transformer-Aufmerksamkeit und spärer Faltung, um alle Instanz-Masken gleichzeitig ohne explosionsartigen Speicherbedarf und Latenz auszugeben. Obwohl die Inferenzkosten in Szenarien mit mehreren Instanzen konstant gehalten werden, erzielt unser Framework robuste und vielseitige Leistungen auf unseren vorgeschlagenen synthetisierten Benchmarks. Mit den Benchmarks für die hochwertige Bild- und Videofreistellung wird der neuartige Multi-Instanz-Syntheseansatz aus öffentlich verfügbaren Quellen eingeführt, um die Verallgemeinerung von Modellen in realen Szenarien zu erhöhen.

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.