DeCLIP : Apprentissage découplé pour la perception dense à vocabulaire ouvert

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

Auteurs: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

Résumé

Les tâches de prédiction visuelle dense ont été limitées par leur dépendance à des catégories prédéfinies, restreignant ainsi leur applicabilité dans des scénarios réels où les concepts visuels sont illimités. Bien que les modèles vision-langage (VLMs) comme CLIP aient montré des résultats prometteurs dans les tâches à vocabulaire ouvert, leur application directe à la prédiction dense conduit souvent à des performances sous-optimales en raison de limitations dans la représentation des caractéristiques locales. Dans ce travail, nous présentons notre observation selon laquelle les tokens d'image de CLIP peinent à agréger efficacement les informations provenant de régions spatialement ou sémantiquement liées, ce qui entraîne des caractéristiques manquant de discriminabilité locale et de cohérence spatiale. Pour résoudre ce problème, nous proposons DeCLIP, un nouveau cadre qui améliore CLIP en découplant le module d'auto-attention pour obtenir respectivement des caractéristiques de « contenu » et de « contexte ». Les caractéristiques de « contenu » sont alignées avec les représentations de recadrage d'image pour améliorer la discriminabilité locale, tandis que les caractéristiques de « contexte » apprennent à préserver les corrélations spatiales sous la guidance de modèles de fondation visuelle, tels que DINO. Des expériences approfondies démontrent que DeCLIP surpasse significativement les méthodes existantes dans plusieurs tâches de prédiction dense à vocabulaire ouvert, incluant la détection d'objets et la segmentation sémantique. Le code est disponible à l'adresse magenta{https://github.com/xiaomoguhz/DeCLIP}.

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.