DOEI : Double Optimisation des Informations d'Embedding pour les Cartes d'Activation de Classe Améliorées par l'Attention

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Auteurs: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Résumé

La segmentation sémantique faiblement supervisée (WSSS) utilise généralement des annotations sémantiques limitées pour obtenir des cartes d'activation de classe (CAM) initiales. Cependant, en raison du couplage insuffisant entre les réponses d'activation de classe et les informations sémantiques dans l'espace de haute dimension, les CAM sont sujettes à la co-occurrence d'objets ou à la sous-activation, ce qui entraîne une précision de reconnaissance inférieure. Pour résoudre ce problème, nous proposons DOEI, Dual Optimization of Embedding Information, une nouvelle approche qui reconstruit les représentations d'embedding à travers des matrices de poids d'attention sensibles à la sémantique afin d'optimiser la capacité d'expression des informations d'embedding. Concrètement, DOEI amplifie les tokens de haute confiance et supprime ceux de faible confiance lors de l'interaction classe-patch. Cet alignement des réponses d'activation avec les informations sémantiques renforce la propagation et le découplage des caractéristiques cibles, permettant aux embeddings générés de représenter plus précisément les caractéristiques cibles dans l'espace sémantique de haut niveau. De plus, nous proposons un module d'alignement de caractéristiques hybrides dans DOEI qui combine les valeurs RVB, les caractéristiques guidées par l'embedding et les poids d'auto-attention pour augmenter la fiabilité des tokens candidats. Des expériences approfondies montrent que DOEI est un module plug-and-play efficace qui permet aux modèles WSSS basés sur des transformers visuels de pointe d'améliorer significativement la qualité des CAM et les performances de segmentation sur des benchmarks populaires, notamment PASCAL VOC (+3,6%, +1,5%, +1,2% mIoU) et MS COCO (+1,2%, +1,6% mIoU). Le code sera disponible à l'adresse https://github.com/AIGeeksGroup/DOEI.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.