AFRDA: Aufmerksamkeitsbasierte Merkmalsverfeinerung für domänenadaptive semantische Segmentierung
AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation
July 23, 2025
papers.authors: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu
cs.AI
papers.abstract
Bei der Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS) wird ein Modell auf annotierten Daten aus einem Quellbereich (z. B. synthetische Bilder) trainiert und an einen nicht annotierten Zielbereich (z. B. reale Bilder) angepasst, ohne Zugriff auf Zielannotierungen zu haben. Bestehende UDA-SS-Methoden haben oft Schwierigkeiten, feinkörnige lokale Details mit globalen Kontextinformationen auszubalancieren, was zu Segmentierungsfehlern in komplexen Regionen führt. Um dies zu beheben, führen wir das Adaptive Feature Refinement (AFR)-Modul ein, das die Segmentierungsgenauigkeit verbessert, indem hochauflösende Merkmale mithilfe semantischer Prioritäten aus niedrigauflösenden Logits verfeinert. AFR integriert auch hochfrequente Komponenten, die feinkörnige Strukturen erfassen und wichtige Grenzinformationen liefern, wodurch die Objektabgrenzung verbessert wird. Zusätzlich balanciert AFR lokale und globale Informationen durch unsicherheitsgesteuerte Aufmerksamkeit aus, was Fehlklassifikationen reduziert. Sein leichtgewichtiges Design ermöglicht eine nahtlose Integration in HRDA-basierte UDA-Methoden und führt zu state-of-the-art Segmentierungsleistungen. Unser Ansatz verbessert bestehende UDA-SS-Methoden um 1,05 % mIoU auf GTA V --> Cityscapes und 1,04 % mIoU auf Synthia --> Cityscapes. Die Implementierung unseres Frameworks ist verfügbar unter: https://github.com/Masrur02/AFRDA.
English
In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is
trained on labeled source domain data (e.g., synthetic images) and adapted to
an unlabeled target domain (e.g., real-world images) without access to target
annotations. Existing UDA-SS methods often struggle to balance fine-grained
local details with global contextual information, leading to segmentation
errors in complex regions. To address this, we introduce the Adaptive Feature
Refinement (AFR) module, which enhances segmentation accuracy by refining
highresolution features using semantic priors from low-resolution logits. AFR
also integrates high-frequency components, which capture fine-grained
structures and provide crucial boundary information, improving object
delineation. Additionally, AFR adaptively balances local and global information
through uncertaintydriven attention, reducing misclassifications. Its
lightweight design allows seamless integration into HRDA-based UDA methods,
leading to state-of-the-art segmentation performance. Our approach improves
existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on
Synthia-->Cityscapes. The implementation of our framework is available at:
https://github.com/Masrur02/AFRDA