DeCLIP: オープン語彙密度知覚のための分離学習

DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception

May 7, 2025

著者: Junjie Wang, Bin Chen, Yulin Li, Bin Kang, Yichi Chen, Zhuotao Tian

cs.AI

要旨

高密度視覚予測タスクは、事前に定義されたカテゴリに依存するため、現実世界のシナリオにおける適用性が制限されてきました。視覚概念が無制限である状況では、その限界が顕著です。CLIPのようなVision-Language Models（VLM）はオープン語彙タスクで有望な成果を示していますが、高密度予測に直接適用すると、局所的特徴表現の制約から最適な性能が得られないことがあります。本研究では、CLIPの画像トークンが空間的または意味的に関連する領域からの情報を効果的に集約できないため、局所的な識別能力と空間的一貫性を欠く特徴が生成されるという観察結果を示します。この問題を解決するため、我々はDeCLIPという新しいフレームワークを提案します。DeCLIPは、自己注意モジュールを分離して「コンテンツ」と「コンテキスト」の特徴をそれぞれ取得することでCLIPを強化します。「コンテンツ」特徴は画像クロップ表現と整合させて局所的な識別能力を向上させ、「コンテキスト」特徴はDINOのような視覚基盤モデルの指導の下で空間的相関を保持するように学習します。大規模な実験により、DeCLIPがオブジェクト検出やセマンティックセグメンテーションを含む複数のオープン語彙高密度予測タスクにおいて、既存の手法を大幅に上回る性能を示すことが実証されました。コードはmagenta{https://github.com/xiaomoguhz/DeCLIP}で公開されています。

English

Dense visual prediction tasks have been constrained by their reliance on predefined categories, limiting their applicability in real-world scenarios where visual concepts are unbounded. While Vision-Language Models (VLMs) like CLIP have shown promise in open-vocabulary tasks, their direct application to dense prediction often leads to suboptimal performance due to limitations in local feature representation. In this work, we present our observation that CLIP's image tokens struggle to effectively aggregate information from spatially or semantically related regions, resulting in features that lack local discriminability and spatial consistency. To address this issue, we propose DeCLIP, a novel framework that enhances CLIP by decoupling the self-attention module to obtain ``content'' and ``context'' features respectively. The ``content'' features are aligned with image crop representations to improve local discriminability, while ``context'' features learn to retain the spatial correlations under the guidance of vision foundation models, such as DINO. Extensive experiments demonstrate that DeCLIP significantly outperforms existing methods across multiple open-vocabulary dense prediction tasks, including object detection and semantic segmentation. Code is available at magenta{https://github.com/xiaomoguhz/DeCLIP}.