MaGGIe: マスク誘導型段階的人間インスタンスマッティング

MaGGIe: Masked Guided Gradual Human Instance Matting

April 24, 2024

著者: Chuong Huynh, Seoung Wug Oh, Abhinav Shrivastava, Joon-Young Lee

cs.AI

要旨

人間のマッティングは、画像および映像処理における基礎的なタスクであり、入力から人間の前景ピクセルを抽出するものです。従来の研究では、追加のガイダンスによって精度を向上させるか、単一インスタンスのフレーム間での時間的一貫性を改善していました。本研究では、新しいフレームワークMaGGIe（Masked Guided Gradual Human Instance Matting）を提案します。このフレームワークは、計算コスト、精度、一貫性を維持しながら、各人間インスタンスのアルファマットを段階的に予測します。我々の手法は、トランスフォーマーアテンションやスパース畳み込みといった現代的なアーキテクチャを活用し、メモリとレイテンシを爆発させることなく、すべてのインスタンスマットを同時に出力します。複数インスタンスのシナリオにおいても推論コストを一定に保ちつつ、提案する合成ベンチマークにおいて堅牢で汎用的な性能を達成します。より高品質な画像および映像マッティングのベンチマークとともに、公開されているソースからの新しいマルチインスタンス合成アプローチを導入し、実世界のシナリオにおけるモデルの汎化性能を向上させます。

English

Human matting is a foundation task in image and video processing, where human foreground pixels are extracted from the input. Prior works either improve the accuracy by additional guidance or improve the temporal consistency of a single instance across frames. We propose a new framework MaGGIe, Masked Guided Gradual Human Instance Matting, which predicts alpha mattes progressively for each human instances while maintaining the computational cost, precision, and consistency. Our method leverages modern architectures, including transformer attention and sparse convolution, to output all instance mattes simultaneously without exploding memory and latency. Although keeping constant inference costs in the multiple-instance scenario, our framework achieves robust and versatile performance on our proposed synthesized benchmarks. With the higher quality image and video matting benchmarks, the novel multi-instance synthesis approach from publicly available sources is introduced to increase the generalization of models in real-world scenarios.