より良く、より強く、より速く、そしてより広く：MLLMベースのセグメンテーションのための構造化オールマスク予測

要旨

MLLMベースのセグメンテーションは、高いセグメンテーション性能、対話能力の維持、高速な推論という中核的なセグメンテーションのトリレンマに直面している。埋め込み予測手法は、ピクセルレベルの目的関数によって言語モデリングを妨げる可能性がある一方、次トークン生成は高密度マスクに対して非効率である。本稿では、自己回帰的対話と非自己回帰的マスク予測を分離するオールマスク予測(All-Mask Prediction)を提案する。そのバイナリ実装であるSTAMP(Simultaneous Textual All-Mask Prediction)は、語彙内の\<SEG\>トリガーを出力し、画像整列マスクトークンと対応するパッチ特徴量を融合し、ハイブリッドアテンションを用いて全てのトークンを一回のパスで前景または背景に分類する。これにより、強力な参照セグメンテーションと推論セグメンテーションを、維持されたマルチモーダル能力および効率的な推論と組み合わせて実現する。しかし、バイナリマスクは、ターゲット固有の予測を繰り返さなければ複数の意味的またはインスタンス的同一性を保持できない。そこで本稿では、構造化オールマスク予測(Structured All-Mask Prediction)を提案し、STAMPlusを開発する。これは、明示的なIDと任意のボックスを備えたターゲットリストを生成し、これらのIDを共有マルチクラスマスク空間に結合して、全てのターゲットを一回の非自己回帰パスで共同予測する。単一の統合チェックポイントは、STAMPの参照・推論能力を維持しながら、オープン語彙セマンティックセグメンテーション、インスタンス認識セグメンテーション、およびリモートセンシング小目標セグメンテーションへと拡張する。そこでは、高解像度マスクトークンスケーリングがより詳細な空間的証拠を保持する。これらの設定において、STAMPlusは最先端のセグメンテーション性能を達成し、汎用のマルチモーダル命令追従を維持し、12カテゴリのレイテンシをSTAMPの繰り返し推論における13.50秒から5.16秒へと短縮する。さらなる分析により、正確なターゲット手がかりがセグメンテーションを改善し、学習された空間的グラウンディングが再検査推論に有益であることが示される。全体として、STAMPlusは単一ターゲット予測を超えてトリレンマを解決する。

English

MLLM-based segmentation faces a core segmentation trilemma: high segmentation performance, preserved dialogue ability, and fast inference. Embedding-prediction methods may disrupt language modeling through pixel-level objectives, whereas next-token generation is inefficient for dense masks. We propose All-Mask Prediction, decoupling autoregressive dialogue from non-autoregressive mask prediction. Its binary instantiation, STAMP (Simultaneous Textual All-Mask Prediction), emits an in-vocabulary <SEG> trigger, fuses image-aligned mask tokens with corresponding patch features, and uses hybrid attention to classify all tokens as foreground or background in one pass. It thereby combines strong referring and reasoning segmentation with preserved multimodal ability and efficient inference. However, binary masks cannot retain multiple semantic or instance identities without repeated target-specific predictions. We therefore propose Structured All-Mask Prediction and develop STAMPlus. It generates a target list with explicit IDs and optional boxes, binds these IDs to a shared multi-class mask space, and jointly predicts all targets in one non-autoregressive pass. A single unified checkpoint retains STAMP's referring and reasoning capabilities while extending to open-vocabulary semantic, instance-aware, and remote-sensing small-target segmentation, where high-resolution mask-token scaling preserves finer spatial evidence. Across these settings, STAMPlus achieves state-of-the-art segmentation performance, preserves general multimodal instruction following, and reduces 12-category latency from 13.50s for repeated STAMP inference to 5.16s. Further analyses show that accurate target cues improve segmentation and learned spatial grounding benefits look-twice reasoning. Overall, STAMPlus resolves the trilemma beyond single-target prediction.