Mamba als Brug: Waar Vision Foundation Models en Vision Language Models Samenkomen voor Domeingegeneraliseerde Semantische Segmentatie

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Auteurs: Xin Zhang, Robby T. Tan

cs.AI

Samenvatting

Vision Foundation Models (VFMs) en Vision-Language Models (VLMs) hebben aan populariteit gewonnen in Domain Generalized Semantic Segmentation (DGSS) vanwege hun sterke generalisatiecapaciteiten. Bestaande DGSS-methoden vertrouwen echter vaak uitsluitend op VFMs of VLMs, waarbij de complementaire sterktes over het hoofd worden gezien. VFMs (bijv. DINOv2) blinken uit in het vastleggen van fijnmazige kenmerken, terwijl VLMs (bijv. CLIP) robuuste tekstuitlijning bieden maar moeite hebben met grove granulariteit. Ondanks hun complementaire sterktes is het effectief integreren van VFMs en VLMs met aandachtmechanismen een uitdaging, omdat de toegenomen patch-tokens het modelleren van lange sequenties bemoeilijken. Om dit aan te pakken, stellen we MFuser voor, een nieuw Mamba-gebaseerd fusiekader dat de sterktes van VFMs en VLMs efficiënt combineert terwijl lineaire schaalbaarheid in sequentielengte behouden blijft. MFuser bestaat uit twee belangrijke componenten: MVFuser, dat fungeert als een co-adapter om de twee modellen gezamenlijk te fine-tunen door zowel sequentiële als ruimtelijke dynamiek vast te leggen; en MTEnhancer, een hybride aandacht-Mamba-module die tekstembeddingen verfijnt door beeldprioriteiten te incorporeren. Onze aanpak bereikt nauwkeurige kenmerklokaliteit en sterke tekstuitlijning zonder aanzienlijke rekenkosten te veroorzaken. Uitgebreide experimenten tonen aan dat MFuser aanzienlijk beter presteert dan state-of-the-art DGSS-methoden, met een score van 68,20 mIoU op synthetisch-naar-echte en 71,87 mIoU op echt-naar-echte benchmarks. De code is beschikbaar op https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.