DOEI: Duale Optimierung von Einbettungsinformationen für aufmerksamkeitsverstärkte Klassifizierungsaktivierungskarten

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Autoren: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Zusammenfassung

Schwach überwachte semantische Segmentierung (WSSS) nutzt typischerweise begrenzte semantische Annotationen, um initiale Class Activation Maps (CAMs) zu erhalten. Aufgrund der unzureichenden Kopplung zwischen Klassenaktivierungsantworten und semantischer Information im hochdimensionalen Raum neigen CAMs jedoch zu Objektkoinzidenz oder Unteraktivierung, was zu einer geringeren Erkennungsgenauigkeit führt. Um dieses Problem zu lösen, schlagen wir DOEI, Dual Optimization of Embedding Information, vor, einen neuartigen Ansatz, der Einbettungsrepräsentationen durch semantisch bewusste Aufmerksamkeitsgewichtungsmatrizen rekonstruiert, um die Ausdrucksfähigkeit der Einbettungsinformation zu optimieren. Konkret verstärkt DOEI Tokens mit hoher Konfidenz und unterdrückt solche mit niedriger Konfidenz während der Klassen-zu-Patch-Interaktion. Diese Ausrichtung der Aktivierungsantworten an die semantische Information stärkt die Propagation und Entkopplung von Zielmerkmalen, wodurch die generierten Einbettungen die Zielmerkmale im hochrangigen semantischen Raum genauer repräsentieren können. Zusätzlich schlagen wir in DOEI ein Hybrid-Feature-Alignment-Modul vor, das RGB-Werte, einbettungsgesteuerte Merkmale und Selbstaufmerksamkeitsgewichte kombiniert, um die Zuverlässigkeit der Kandidaten-Tokens zu erhöhen. Umfassende Experimente zeigen, dass DOEI ein effektives Plug-and-Play-Modul ist, das state-of-the-art, auf Visual Transformer basierende WSSS-Modelle befähigt, die Qualität der CAMs und die Segmentierungsleistung auf bekannten Benchmarks, einschließlich PASCAL VOC (+3,6%, +1,5%, +1,2% mIoU) und MS COCO (+1,2%, +1,6% mIoU), signifikant zu verbessern. Der Code wird unter https://github.com/AIGeeksGroup/DOEI verfügbar sein.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.