DeCLIP: Aprendizado Desacoplado para Percepção Densita de Vocabulário Aberto

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

Autores: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

Resumo

Tarefas de predição visual densa têm sido limitadas por sua dependência de categorias predefinidas, restringindo sua aplicabilidade em cenários do mundo real onde os conceitos visuais são ilimitados. Embora Modelos de Visão e Linguagem (VLMs) como o CLIP tenham mostrado potencial em tarefas de vocabulário aberto, sua aplicação direta à predição densa frequentemente resulta em desempenho subótimo devido a limitações na representação de características locais. Neste trabalho, apresentamos nossa observação de que os tokens de imagem do CLIP têm dificuldade em agregar efetivamente informações de regiões espacial ou semanticamente relacionadas, resultando em características que carecem de discriminabilidade local e consistência espacial. Para resolver esse problema, propomos o DeCLIP, um novo framework que aprimora o CLIP ao desacoplar o módulo de self-attention para obter características de "conteúdo" e "contexto" respectivamente. As características de "conteúdo" são alinhadas com representações de recortes de imagem para melhorar a discriminabilidade local, enquanto as características de "contexto" aprendem a manter as correlações espaciais sob a orientação de modelos de visão fundamentais, como o DINO. Experimentos extensivos demonstram que o DeCLIP supera significativamente os métodos existentes em várias tarefas de predição densa de vocabulário aberto, incluindo detecção de objetos e segmentação semântica. O código está disponível em magenta{https://github.com/xiaomoguhz/DeCLIP}.

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.