더 낫고, 더 강하고, 더 빠르고, 더 넓게: MLLM 기반 분할을 위한 구조적 올-마스크 예측

초록

MLLM 기반 분할은 높은 분할 성능, 대화 능력 유지, 빠른 추론이라는 핵심 삼중 딜레마에 직면한다. 임베딩 예측 방식은 픽셀 수준의 목표를 통해 언어 모델링을 방해할 수 있는 반면, 다음 토큰 생성은 밀집 마스크에 비효율적이다. 우리는 자기회귀적 대화와 비자기회귀적 마스크 예측을 분리하는 올-마스크 예측(All-Mask Prediction)을 제안한다. 이진 구현인 STAMP(Simultaneous Textual All-Mask Prediction)는 어휘 내 `<SEG>` 트리거를 발생시키고, 이미지 정렬 마스크 토큰을 해당 패치 특징과 융합하며, 하이브리드 어텐션을 통해 모든 토큰을 한 번의 패스에서 전경 또는 배경으로 분류한다. 이를 통해 강력한 지시 및 추론 분할과 다중모달 능력 보존 및 효율적인 추론을 결합한다. 그러나 이진 마스크는 반복적인 대상별 예측 없이는 여러 의미론적 또는 인스턴스 정체성을 유지할 수 없다. 따라서 우리는 구조적 올-마스크 예측(Structured All-Mask Prediction)을 제안하고 STAMPlus를 개발한다. STAMPlus는 명시적 ID와 선택적 박스를 가진 대상 목록을 생성하고, 이 ID들을 공유 다중 클래스 마스크 공간에 바인딩하여 모든 대상을 하나의 비자기회귀적 패스에서 공동으로 예측한다. 단일 통합 체크포인트는 STAMP의 지시 및 추론 능력을 유지하면서, 고해상도 마스크-토큰 스케일링을 통해 더 세밀한 공간적 증거를 보존하는 개방 어휘 의미론적 분할, 인스턴스 인식 분할, 원격 감지 소형 대상 분할로 확장된다. 이러한 설정 전반에서 STAMPlus는 최첨단 분할 성능을 달성하고, 일반적인 다중모달 지시 수행 능력을 보존하며, 12개 범주에 대한 지연 시간을 반복적 STAMP 추론의 13.50초에서 5.16초로 줄인다. 추가 분석은 정확한 대상 단서가 분할을 개선하고 학습된 공간적 그라운딩이 두 번 보기 추론에 도움이 됨을 보여준다. 종합적으로 STAMPlus는 단일 대상 예측을 넘어 삼중 딜레마를 해결한다.

English

MLLM-based segmentation faces a core segmentation trilemma: high segmentation performance, preserved dialogue ability, and fast inference. Embedding-prediction methods may disrupt language modeling through pixel-level objectives, whereas next-token generation is inefficient for dense masks. We propose All-Mask Prediction, decoupling autoregressive dialogue from non-autoregressive mask prediction. Its binary instantiation, STAMP (Simultaneous Textual All-Mask Prediction), emits an in-vocabulary <SEG> trigger, fuses image-aligned mask tokens with corresponding patch features, and uses hybrid attention to classify all tokens as foreground or background in one pass. It thereby combines strong referring and reasoning segmentation with preserved multimodal ability and efficient inference. However, binary masks cannot retain multiple semantic or instance identities without repeated target-specific predictions. We therefore propose Structured All-Mask Prediction and develop STAMPlus. It generates a target list with explicit IDs and optional boxes, binds these IDs to a shared multi-class mask space, and jointly predicts all targets in one non-autoregressive pass. A single unified checkpoint retains STAMP's referring and reasoning capabilities while extending to open-vocabulary semantic, instance-aware, and remote-sensing small-target segmentation, where high-resolution mask-token scaling preserves finer spatial evidence. Across these settings, STAMPlus achieves state-of-the-art segmentation performance, preserves general multimodal instruction following, and reduces 12-category latency from 13.50s for repeated STAMP inference to 5.16s. Further analyses show that accurate target cues improve segmentation and learned spatial grounding benefits look-twice reasoning. Overall, STAMPlus resolves the trilemma beyond single-target prediction.