DeCLIP: Ontkoppeld leren voor open-vocabulair dichte perceptie

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

Auteurs: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

Samenvatting

Dichte visuele voorspellingstaken zijn beperkt door hun afhankelijkheid van vooraf gedefinieerde categorieën, wat hun toepasbaarheid in real-world scenario's beperkt waar visuele concepten onbegrensd zijn. Hoewel Vision-Language Models (VLMs) zoals CLIP veelbelovend zijn gebleken in open-vocabulairtaken, leidt hun directe toepassing op dichte voorspelling vaak tot suboptimale prestaties vanwege beperkingen in de lokale kenmerkrepresentatie. In dit werk presenteren we onze observatie dat CLIP's beeldtokens moeite hebben om effectief informatie te aggregeren uit ruimtelijk of semantisch gerelateerde regio's, wat resulteert in kenmerken die lokale onderscheidbaarheid en ruimtelijke consistentie missen. Om dit probleem aan te pakken, stellen we DeCLIP voor, een nieuw raamwerk dat CLIP verbetert door de self-attention module te ontkoppelen om respectievelijk "inhouds"- en "context"-kenmerken te verkrijgen. De "inhouds"-kenmerken worden afgestemd op beeldcroprepresentaties om de lokale onderscheidbaarheid te verbeteren, terwijl "context"-kenmerken leren om de ruimtelijke correlaties te behouden onder begeleiding van visuele foundationmodellen, zoals DINO. Uitgebreide experimenten tonen aan dat DeCLIP aanzienlijk beter presteert dan bestaande methoden bij meerdere open-vocabulair dichte voorspellingstaken, waaronder objectdetectie en semantische segmentatie. Code is beschikbaar op magenta{https://github.com/xiaomoguhz/DeCLIP}.

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.