DOEI: Doppia Ottimizzazione delle Informazioni di Embedding per Mappe di Attivazione di Classe Potenziate dall'Attenzione

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Autori: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Abstract

La segmentazione semantica debolmente supervisionata (WSSS) utilizza tipicamente annotazioni semantiche limitate per ottenere mappe di attivazione delle classi (CAM) iniziali. Tuttavia, a causa dell'inadeguato accoppiamento tra le risposte di attivazione delle classi e le informazioni semantiche nello spazio ad alta dimensionalità, la CAM è soggetta a co-occorrenza di oggetti o sotto-attivazione, portando a una precisione di riconoscimento inferiore. Per affrontare questo problema, proponiamo DOEI, Dual Optimization of Embedding Information, un approccio innovativo che ricostruisce le rappresentazioni di embedding attraverso matrici di pesi di attenzione consapevoli del contesto semantico, ottimizzando così la capacità espressiva delle informazioni di embedding. Nello specifico, DOEI amplifica i token con alta confidenza e sopprime quelli con bassa confidenza durante l'interazione classe-patch. Questo allineamento delle risposte di attivazione con le informazioni semantiche rafforza la propagazione e il disaccoppiamento delle caratteristiche target, permettendo agli embedding generati di rappresentare in modo più accurato le caratteristiche target nello spazio semantico di alto livello. Inoltre, proponiamo un modulo di allineamento di feature ibride in DOEI che combina valori RGB, feature guidate da embedding e pesi di self-attention per aumentare l'affidabilità dei token candidati. Esperimenti completi dimostrano che DOEI è un modulo plug-and-play efficace che potenzia i modelli WSSS basati su transformer visivi all'avanguardia, migliorando significativamente la qualità delle CAM e le prestazioni di segmentazione su benchmark popolari, inclusi PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) e MS COCO (+1.2%, +1.6% mIoU). Il codice sarà disponibile all'indirizzo https://github.com/AIGeeksGroup/DOEI.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.