Mamba comme pont : où les modèles de fondation visuelle rencontrent les modèles de langage visuel pour la segmentation sémantique généralisée au domaine

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Auteurs: Xin Zhang, Robby T. Tan

cs.AI

Résumé

Les modèles de base pour la vision (Vision Foundation Models, VFMs) et les modèles vision-langage (Vision-Language Models, VLMs) ont gagné en popularité dans le domaine de la segmentation sémantique généralisée (Domain Generalized Semantic Segmentation, DGSS) grâce à leurs fortes capacités de généralisation. Cependant, les méthodes existantes en DGSS s'appuient souvent exclusivement sur les VFMs ou les VLMs, négligeant ainsi leurs forces complémentaires. Les VFMs (par exemple, DINOv2) excellent dans la capture de caractéristiques fines, tandis que les VLMs (par exemple, CLIP) offrent un alignement textuel robuste mais peinent avec une granularité grossière. Malgré leurs forces complémentaires, l'intégration efficace des VFMs et des VLMs avec des mécanismes d'attention est complexe, car l'augmentation des tokens de patch complique la modélisation des séquences longues. Pour résoudre ce problème, nous proposons MFuser, un nouveau cadre de fusion basé sur Mamba qui combine efficacement les forces des VFMs et des VLMs tout en maintenant une scalabilité linéaire en fonction de la longueur des séquences. MFuser se compose de deux éléments clés : MVFuser, qui agit comme un co-adaptateur pour affiner conjointement les deux modèles en capturant à la fois les dynamiques séquentielles et spatiales ; et MTEnhancer, un module hybride attention-Mamba qui affine les embeddings textuels en intégrant des a priori visuels. Notre approche permet d'obtenir une localisation précise des caractéristiques et un alignement textuel robuste sans entraîner de surcharge computationnelle significative. Des expériences approfondies démontrent que MFuser surpasse de manière significative les méthodes DGSS de pointe, atteignant 68,20 mIoU sur des benchmarks synthétiques-vers-réels et 71,87 mIoU sur des benchmarks réels-vers-réels. Le code est disponible à l'adresse https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.