DeCLIP: Раздельное обучение для плотного восприятия с открытым словарём

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

Авторы: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

Аннотация

Задачи плотного визуального прогнозирования были ограничены своей зависимостью от предопределенных категорий, что сужает их применимость в реальных сценариях, где визуальные концепции не имеют четких границ. Хотя модели, объединяющие зрение и язык (Vision-Language Models, VLMs), такие как CLIP, показали перспективность в задачах с открытым словарем, их прямое применение к плотному прогнозированию часто приводит к неоптимальной производительности из-за ограничений в представлении локальных признаков. В данной работе мы представляем наше наблюдение, что токены изображений CLIP не способны эффективно агрегировать информацию из пространственно или семантически связанных областей, что приводит к признакам, лишенным локальной различимости и пространственной согласованности. Для решения этой проблемы мы предлагаем DeCLIP — новый фреймворк, который улучшает CLIP, разделяя модуль самовнимания для получения признаков «содержания» и «контекста» соответственно. Признаки «содержания» согласуются с представлениями фрагментов изображения для улучшения локальной различимости, в то время как признаки «контекста» учатся сохранять пространственные корреляции под руководством фундаментальных моделей зрения, таких как DINO. Многочисленные эксперименты демонстрируют, что DeCLIP значительно превосходит существующие методы в различных задачах плотного прогнозирования с открытым словарем, включая обнаружение объектов и семантическую сегментацию. Код доступен по адресу magenta{https://github.com/xiaomoguhz/DeCLIP}.

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.