Mamba als Brücke: Wo Vision Foundation Models auf Vision Language Models treffen, um domänenübergreifende semantische Segmentierung zu ermöglichen

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Autoren: Xin Zhang, Robby T. Tan

cs.AI

Zusammenfassung

Vision Foundation Models (VFMs) und Vision-Language Models (VLMs) haben in der Domain Generalized Semantic Segmentation (DGSS) aufgrund ihrer starken Generalisierungsfähigkeiten an Bedeutung gewonnen. Allerdings stützen sich bestehende DGSS-Methoden oft ausschließlich auf entweder VFMs oder VLMs und übersehen dabei deren komplementäre Stärken. VFMs (z. B. DINOv2) zeichnen sich durch die Erfassung feinkörniger Merkmale aus, während VLMs (z. B. CLIP) eine robuste Textausrichtung bieten, jedoch mit grober Granularität kämpfen. Trotz ihrer komplementären Stärken ist die effektive Integration von VFMs und VLMs mit Aufmerksamkeitsmechanismen eine Herausforderung, da die erhöhte Anzahl von Patch-Tokens die Modellierung langer Sequenzen erschwert. Um dies zu adressieren, schlagen wir MFuser vor, ein neuartiges Mamba-basiertes Fusionsframework, das die Stärken von VFMs und VLMs effizient kombiniert und dabei lineare Skalierbarkeit in der Sequenzlänge beibehält. MFuser besteht aus zwei Schlüsselkomponenten: MVFuser, das als Co-Adapter fungiert, um beide Modelle durch die Erfassung sowohl sequenzieller als auch räumlicher Dynamiken gemeinsam zu feinabstimmen; und MTEnhancer, ein hybrides Aufmerksamkeits-Mamba-Modul, das Text-Embeddings durch die Einbindung von Bildpriors verfeinert. Unser Ansatz erreicht präzise Merkmalslokalität und starke Textausrichtung, ohne signifikanten Rechenaufwand zu verursachen. Umfangreiche Experimente zeigen, dass MFuser state-of-the-art DGSS-Methoden deutlich übertrifft und 68,20 mIoU auf synthetisch-zu-real und 71,87 mIoU auf real-zu-real Benchmarks erreicht. Der Code ist verfügbar unter https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.