DeCLIP: Aprendizaje Desacoplado para la Percepción Densa de Vocabulario Abierto

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

Autores: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

Resumen

Las tareas de predicción visual densa se han visto limitadas por su dependencia de categorías predefinidas, lo que restringe su aplicabilidad en escenarios del mundo real donde los conceptos visuales son ilimitados. Aunque los modelos de visión y lenguaje (VLMs, por sus siglas en inglés) como CLIP han mostrado potencial en tareas de vocabulario abierto, su aplicación directa a la predicción densa suele resultar en un rendimiento subóptimo debido a limitaciones en la representación de características locales. En este trabajo, presentamos nuestra observación de que los tokens de imagen de CLIP tienen dificultades para agregar eficazmente información de regiones espacial o semánticamente relacionadas, lo que resulta en características que carecen de discriminabilidad local y consistencia espacial. Para abordar este problema, proponemos DeCLIP, un marco novedoso que mejora CLIP al desacoplar el módulo de auto-atención para obtener características de "contenido" y "contexto" respectivamente. Las características de "contenido" se alinean con representaciones de recortes de imagen para mejorar la discriminabilidad local, mientras que las características de "contexto" aprenden a mantener las correlaciones espaciales bajo la guía de modelos fundamentales de visión, como DINO. Experimentos exhaustivos demuestran que DeCLIP supera significativamente a los métodos existentes en múltiples tareas de predicción densa de vocabulario abierto, incluyendo detección de objetos y segmentación semántica. El código está disponible en magenta{https://github.com/xiaomoguhz/DeCLIP}.

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.