AFRDA: Affinamento Attentivo delle Caratteristiche per la Segmentazione Semantica Adattativa al Dominio

AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation

July 23, 2025

Autori: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu

cs.AI

Abstract

Nella Segmentazione Semantica con Adattamento di Dominio Non Supervisionato (UDA-SS), un modello viene addestrato su dati etichettati di un dominio sorgente (ad esempio, immagini sintetiche) e adattato a un dominio target non etichettato (ad esempio, immagini del mondo reale) senza accesso alle annotazioni del target. I metodi UDA-SS esistenti spesso faticano a bilanciare i dettagli locali di fine granularità con le informazioni contestuali globali, portando a errori di segmentazione nelle regioni complesse. Per affrontare questo problema, introduciamo il modulo Adaptive Feature Refinement (AFR), che migliora l'accuratezza della segmentazione raffinando le caratteristiche ad alta risoluzione utilizzando prior semantiche dai logit a bassa risoluzione. AFR integra anche componenti ad alta frequenza, che catturano strutture di fine granularità e forniscono informazioni cruciali sui contorni, migliorando la delineazione degli oggetti. Inoltre, AFR bilancia in modo adattivo le informazioni locali e globali attraverso un'attenzione guidata dall'incertezza, riducendo le classificazioni errate. Il suo design leggero consente un'integrazione senza soluzione di continuità nei metodi UDA basati su HRDA, portando a prestazioni di segmentazione all'avanguardia. Il nostro approccio migliora i metodi UDA-SS esistenti di 1,05% mIoU su GTA V --> Cityscapes e 1,04% mIoU su Synthia-->Cityscapes. L'implementazione del nostro framework è disponibile all'indirizzo: https://github.com/Masrur02/AFRDA

English

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is trained on labeled source domain data (e.g., synthetic images) and adapted to an unlabeled target domain (e.g., real-world images) without access to target annotations. Existing UDA-SS methods often struggle to balance fine-grained local details with global contextual information, leading to segmentation errors in complex regions. To address this, we introduce the Adaptive Feature Refinement (AFR) module, which enhances segmentation accuracy by refining highresolution features using semantic priors from low-resolution logits. AFR also integrates high-frequency components, which capture fine-grained structures and provide crucial boundary information, improving object delineation. Additionally, AFR adaptively balances local and global information through uncertaintydriven attention, reducing misclassifications. Its lightweight design allows seamless integration into HRDA-based UDA methods, leading to state-of-the-art segmentation performance. Our approach improves existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on Synthia-->Cityscapes. The implementation of our framework is available at: https://github.com/Masrur02/AFRDA