Mamba como Ponte: Onde Modelos de Base Visual Encontram Modelos de Linguagem Visual para Segmentação Semântica Generalizada por Domínio

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Autores: Xin Zhang, Robby T. Tan

cs.AI

Resumo

Modelos de Fundação Visual (VFMs) e Modelos Visão-Linguagem (VLMs) têm ganhado destaque na Segmentação Semântica Generalizada de Domínio (DGSS) devido às suas fortes capacidades de generalização. No entanto, os métodos existentes de DGSS frequentemente dependem exclusivamente de VFMs ou VLMs, negligenciando seus pontos fortes complementares. VFMs (por exemplo, DINOv2) se destacam na captura de características de alta granularidade, enquanto VLMs (por exemplo, CLIP) oferecem um alinhamento robusto com texto, mas enfrentam dificuldades com granularidade grossa. Apesar de seus pontos fortes complementares, integrar efetivamente VFMs e VLMs com mecanismos de atenção é desafiador, pois o aumento de tokens de patch complica a modelagem de sequências longas. Para resolver isso, propomos o MFuser, uma nova estrutura de fusão baseada em Mamba que combina eficientemente os pontos fortes de VFMs e VLMs, mantendo uma escalabilidade linear no comprimento da sequência. O MFuser consiste em dois componentes principais: o MVFuser, que atua como um co-adaptador para ajustar conjuntamente os dois modelos, capturando tanto dinâmicas sequenciais quanto espaciais; e o MTEnhancer, um módulo híbrido de atenção-Mamba que refina embeddings de texto incorporando prioridades de imagem. Nossa abordagem alcança uma localidade precisa de características e um forte alinhamento de texto sem incorrer em sobrecarga computacional significativa. Experimentos extensivos demonstram que o MFuser supera significativamente os métodos state-of-the-art em DGSS, alcançando 68,20 mIoU em benchmarks sintético-para-real e 71,87 mIoU em real-para-real. O código está disponível em https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.