AFRDA: Refinamiento de Características con Atención para la Segmentación Semántica con Adaptación de Dominio
AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation
July 23, 2025
Autores: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu
cs.AI
Resumen
En la Segmentación Semántica Adaptativa de Dominio No Supervisado (UDA-SS), un modelo se entrena con datos etiquetados de un dominio fuente (por ejemplo, imágenes sintéticas) y se adapta a un dominio objetivo sin etiquetar (por ejemplo, imágenes del mundo real) sin acceso a anotaciones del objetivo. Los métodos existentes de UDA-SS suelen tener dificultades para equilibrar los detalles locales finos con la información contextual global, lo que genera errores de segmentación en regiones complejas. Para abordar esto, presentamos el módulo de Refinamiento Adaptativo de Características (AFR), que mejora la precisión de la segmentación refinando características de alta resolución utilizando prioridades semánticas extraídas de logits de baja resolución. AFR también integra componentes de alta frecuencia, que capturan estructuras finas y proporcionan información crucial sobre los límites, mejorando la delimitación de objetos. Además, AFR equilibra de manera adaptativa la información local y global mediante atención basada en incertidumbre, reduciendo las clasificaciones erróneas. Su diseño ligero permite una integración sin problemas en métodos UDA basados en HRDA, logrando un rendimiento de segmentación de vanguardia. Nuestro enfoque mejora los métodos existentes de UDA-SS en un 1.05% de mIoU en GTA V --> Cityscapes y un 1.04% de mIoU en Synthia --> Cityscapes. La implementación de nuestro marco está disponible en: https://github.com/Masrur02/AFRDA.
English
In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is
trained on labeled source domain data (e.g., synthetic images) and adapted to
an unlabeled target domain (e.g., real-world images) without access to target
annotations. Existing UDA-SS methods often struggle to balance fine-grained
local details with global contextual information, leading to segmentation
errors in complex regions. To address this, we introduce the Adaptive Feature
Refinement (AFR) module, which enhances segmentation accuracy by refining
highresolution features using semantic priors from low-resolution logits. AFR
also integrates high-frequency components, which capture fine-grained
structures and provide crucial boundary information, improving object
delineation. Additionally, AFR adaptively balances local and global information
through uncertaintydriven attention, reducing misclassifications. Its
lightweight design allows seamless integration into HRDA-based UDA methods,
leading to state-of-the-art segmentation performance. Our approach improves
existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on
Synthia-->Cityscapes. The implementation of our framework is available at:
https://github.com/Masrur02/AFRDA