DOEI: Optimización Dual de la Información de Incrustación para Mapas de Activación de Clases Mejorados con Atención

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Autores: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Resumen

La segmentación semántica débilmente supervisada (WSSS, por sus siglas en inglés) suele utilizar anotaciones semánticas limitadas para obtener mapas de activación de clases (CAMs, por sus siglas en inglés) iniciales. Sin embargo, debido al acoplamiento insuficiente entre las respuestas de activación de clases y la información semántica en el espacio de alta dimensión, los CAMs son propensos a la co-ocurrencia de objetos o a la subactivación, lo que resulta en una precisión de reconocimiento inferior. Para abordar este problema, proponemos DOEI, Optimización Dual de la Información de Incrustación, un enfoque novedoso que reconstruye las representaciones de incrustación mediante matrices de pesos de atención conscientes de la semántica para optimizar la capacidad de expresión de la información de incrustación. Específicamente, DOEI amplifica los tokens con alta confianza y suprime aquellos con baja confianza durante la interacción clase-a-parche. Esta alineación de las respuestas de activación con la información semántica fortalece la propagación y el desacoplamiento de las características objetivo, permitiendo que las incrustaciones generadas representen con mayor precisión las características objetivo en el espacio semántico de alto nivel. Además, proponemos un módulo de alineación de características híbridas en DOEI que combina valores RGB, características guiadas por incrustaciones y pesos de auto-atención para aumentar la fiabilidad de los tokens candidatos. Experimentos exhaustivos muestran que DOEI es un módulo plug-and-play efectivo que potencia los modelos WSSS basados en transformadores visuales de última generación, mejorando significativamente la calidad de los CAMs y el rendimiento de segmentación en benchmarks populares, incluyendo PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) y MS COCO (+1.2%, +1.6% mIoU). El código estará disponible en https://github.com/AIGeeksGroup/DOEI.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.