DOEI: Otimização Dupla de Informações de Incorporação para Mapas de Ativação de Classe Aprimorados com Atenção

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Autores: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Resumo

A segmentação semântica fracamente supervisionada (WSSS) geralmente utiliza anotações semânticas limitadas para obter Mapas de Ativação de Classe (CAMs) iniciais. No entanto, devido ao acoplamento inadequado entre as respostas de ativação de classe e a informação semântica em um espaço de alta dimensão, o CAM está sujeito a coocorrência de objetos ou subativação, resultando em uma precisão de reconhecimento inferior. Para lidar com esse problema, propomos o DOEI, Otimização Dual da Informação de Incorporação, uma abordagem inovadora que reconstrói representações de incorporação por meio de matrizes de pesos de atenção conscientes da semântica para otimizar a capacidade de expressão da informação de incorporação. Especificamente, o DOEI amplifica tokens com alta confiança e suprime aqueles com baixa confiança durante a interação de classe com patch. Essa alinhamento das respostas de ativação com a informação semântica fortalece a propagação e desacoplamento de características-alvo, permitindo que as incorporações geradas representem com mais precisão as características-alvo em um espaço semântico de alto nível. Além disso, propomos um módulo de alinhamento de características híbridas no DOEI que combina valores RGB, características orientadas por incorporação e pesos de autoatenção para aumentar a confiabilidade dos tokens candidatos. Experimentos abrangentes mostram que o DOEI é um módulo eficaz plug-and-play que capacita modelos WSSS baseados em transformadores visuais de última geração a melhorar significativamente a qualidade dos CAMs e o desempenho de segmentação em benchmarks populares, incluindo PASCAL VOC (+3,6%, +1,5%, +1,2% mIoU) e MS COCO (+1,2%, +1,6% mIoU). O código estará disponível em https://github.com/AIGeeksGroup/DOEI.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.