Mamba как мост: где модели фундаментального зрения встречаются с моделями "зрение-язык" для обобщённой семантической сегментации доменов

Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation

April 4, 2025

Авторы: Xin Zhang, Robby T. Tan

cs.AI

Аннотация

Модели Vision Foundation Models (VFMs) и Vision-Language Models (VLMs) получили широкое признание в задаче Domain Generalized Semantic Segmentation (DGSS) благодаря своим мощным способностям к обобщению. Однако существующие методы DGSS часто полагаются исключительно либо на VFMs, либо на VLMs, упуская из виду их взаимодополняющие преимущества. VFMs (например, DINOv2) превосходно справляются с захватом детализированных признаков, в то время как VLMs (например, CLIP) обеспечивают надежное текстовое согласование, но испытывают трудности с грубой детализацией. Несмотря на их взаимодополняющие сильные стороны, эффективная интеграция VFMs и VLMs с использованием механизмов внимания является сложной задачей, поскольку увеличение количества токенов усложняет моделирование длинных последовательностей. Для решения этой проблемы мы предлагаем MFuser — инновационную фреймворк-основанную на Mamba архитектуру, которая эффективно объединяет сильные стороны VFMs и VLMs, сохраняя линейную масштабируемость по длине последовательности. MFuser состоит из двух ключевых компонентов: MVFuser, который выступает в роли совместного адаптера для тонкой настройки двух моделей, захватывая как последовательные, так и пространственные динамики; и MTEnhancer — гибридного модуля attention-Mamba, который улучшает текстовые эмбеддинги, интегрируя априорные данные изображений. Наш подход обеспечивает точную локальность признаков и сильное текстовое согласование без значительных вычислительных затрат. Многочисленные эксперименты демонстрируют, что MFuser значительно превосходит современные методы DGSS, достигая 68.20 mIoU на синтетико-реальных и 71.87 mIoU на реально-реальных бенчмарках. Код доступен по адресу https://github.com/devinxzhang/MFuser.

English

Vision Foundation Models (VFMs) and Vision-Language Models (VLMs) have gained traction in Domain Generalized Semantic Segmentation (DGSS) due to their strong generalization capabilities. However, existing DGSS methods often rely exclusively on either VFMs or VLMs, overlooking their complementary strengths. VFMs (e.g., DINOv2) excel at capturing fine-grained features, while VLMs (e.g., CLIP) provide robust text alignment but struggle with coarse granularity. Despite their complementary strengths, effectively integrating VFMs and VLMs with attention mechanisms is challenging, as the increased patch tokens complicate long-sequence modeling. To address this, we propose MFuser, a novel Mamba-based fusion framework that efficiently combines the strengths of VFMs and VLMs while maintaining linear scalability in sequence length. MFuser consists of two key components: MVFuser, which acts as a co-adapter to jointly fine-tune the two models by capturing both sequential and spatial dynamics; and MTEnhancer, a hybrid attention-Mamba module that refines text embeddings by incorporating image priors. Our approach achieves precise feature locality and strong text alignment without incurring significant computational overhead. Extensive experiments demonstrate that MFuser significantly outperforms state-of-the-art DGSS methods, achieving 68.20 mIoU on synthetic-to-real and 71.87 mIoU on real-to-real benchmarks. The code is available at https://github.com/devinxzhang/MFuser.