AFRDA: Attentieve Featureverfijning voor Domeinadaptieve Semantische Segmentatie

AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation

July 23, 2025

Auteurs: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu

cs.AI

Samenvatting

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS) wordt een model getraind op gelabelde gegevens van een brondomein (bijvoorbeeld synthetische afbeeldingen) en aangepast aan een ongelabeld doeldomein (bijvoorbeeld real-world afbeeldingen) zonder toegang tot annotaties van het doeldomein. Bestaande UDA-SS-methoden hebben vaak moeite om fijnmazige lokale details te balanceren met globale contextuele informatie, wat leidt tot segmentatiefouten in complexe regio's. Om dit aan te pakken, introduceren we de Adaptive Feature Refinement (AFR)-module, die de segmentatienauwkeurigheid verbetert door hoogresolutiekenmerken te verfijnen met behulp van semantische priors uit laagresolutie logits. AFR integreert ook hoogfrequente componenten, die fijnmazige structuren vastleggen en cruciale grensinformatie bieden, waardoor de objectafbakening wordt verbeterd. Daarnaast balanceert AFR adaptief lokale en globale informatie door middel van onzekerheidsgedreven aandacht, wat misclassificaties vermindert. Het lichtgewicht ontwerp maakt naadloze integratie mogelijk in HRDA-gebaseerde UDA-methoden, wat leidt tot state-of-the-art segmentatieprestaties. Onze aanpak verbetert bestaande UDA-SS-methoden met 1,05% mIoU op GTA V --> Cityscapes en 1,04% mIoU op Synthia-->Cityscapes. De implementatie van ons framework is beschikbaar op: https://github.com/Masrur02/AFRDA

English

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is trained on labeled source domain data (e.g., synthetic images) and adapted to an unlabeled target domain (e.g., real-world images) without access to target annotations. Existing UDA-SS methods often struggle to balance fine-grained local details with global contextual information, leading to segmentation errors in complex regions. To address this, we introduce the Adaptive Feature Refinement (AFR) module, which enhances segmentation accuracy by refining highresolution features using semantic priors from low-resolution logits. AFR also integrates high-frequency components, which capture fine-grained structures and provide crucial boundary information, improving object delineation. Additionally, AFR adaptively balances local and global information through uncertaintydriven attention, reducing misclassifications. Its lightweight design allows seamless integration into HRDA-based UDA methods, leading to state-of-the-art segmentation performance. Our approach improves existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on Synthia-->Cityscapes. The implementation of our framework is available at: https://github.com/Masrur02/AFRDA