SAM-MT：リアルタイムインタラクティブマルチターゲットビデオセグメンテーション

要旨

現代のビデオオブジェクトセグメンテーション（VOS）では、ユーザーが指定したターゲットの追跡とセグメンテーションを行います。近年の手法は単一ターゲットシナリオで顕著な性能を達成していますが、これらをマルチターゲット設定に拡張する場合、通常は個々のオブジェクトごとに単一ターゲット処理を複製するため、ターゲット数の増加に伴ってフレームレート（FPS）が低下し、レイテンシが無制限に増大します。本稿では、Segment Anything 2（SAM2）を基盤として、リアルタイムのマルチターゲットビデオセグメンテーションのための対話型フレームワークにモデルを変換することで、この課題に対処するSAM-MTを提案します。SAM-MTは、異なる個別ターゲットを表現する明示的なクエリを、グローバルコンテキストのための共有表現と並行して使用します。クロスターゲット干渉から個々の識別性を維持するために分離されたマスクアテンションを採用し、安定した時間的進化のためにスパースメモリを利用するとともに、オクルージョン処理と重複防止のための特殊な戦略を実装しています。SAM-MTは、レイテンシをターゲット数から切り離すことに成功し、単一ターゲットベースラインと同等のリアルタイム速度（10ターゲットで36 FPS超）を達成しつつ、SAM2の堅牢なビデオセグメンテーション性能を維持します。

English

Modern Video Object Segmentation (VOS) involves tracking and segmenting user-specified targets. While recent approaches have achieved remarkable performance in single-target scenarios, extending them to multi-target settings typically involves replicating the single-target processing for each individual object, resulting in reduced frame rates (FPS) with unbounded latency as target count increases. Built upon Segment Anything 2 (SAM2), we propose SAM-MT, which addresses this by transforming the model into an interactive framework for real-time Multi-Target video segmentation. SAM-MT uses explicit queries to represent different individual targets, in parallel with a shared representation for global context. It employs decoupled masked attention to keep individual identities distinct from cross-target interference, and sparse memory for stable temporal evolution, along with specialized strategies for occlusion handling and overlap prevention. SAM-MT successfully decouples latency from the number of targets, achieving real-time speed on par with single-target baselines (>36 FPS for 10 targets) while maintaining SAM2's robust video segmentation performance.