AFRDA: 도메인 적응형 의미론적 분할을 위한 주의 기반 특징 정제

초록

비지도 도메인 적응 의미론적 분할(Unsupervised Domain Adaptive Semantic Segmentation, UDA-SS)에서는 레이블이 지정된 소스 도메인 데이터(예: 합성 이미지)로 모델을 학습시키고, 레이블이 없는 타겟 도메인(예: 실제 이미지)에 적응시키며, 이때 타겟 도메인의 주석에 접근하지 않습니다. 기존의 UDA-SS 방법들은 종종 세밀한 지역적 세부 사항과 전역적 문맥 정보 간의 균형을 맞추는 데 어려움을 겪어 복잡한 영역에서 분할 오류가 발생합니다. 이를 해결하기 위해, 우리는 적응형 특징 정제(Adaptive Feature Refinement, AFR) 모듈을 도입했습니다. 이 모듈은 저해상도 로짓(logits)에서 얻은 의미론적 사전 정보를 사용하여 고해상도 특징을 정제함으로써 분할 정확도를 향상시킵니다. AFR은 또한 고주파 성분을 통합하여 세밀한 구조를 포착하고 중요한 경계 정보를 제공함으로써 객체 경계를 더욱 명확히 합니다. 또한, AFR은 불확실성 기반 주의 메커니즘을 통해 지역적 및 전역적 정보를 적응적으로 균형 있게 조절하여 오분류를 줄입니다. AFR의 경량 설계는 HRDA 기반 UDA 방법에 원활하게 통합될 수 있도록 하여 최첨단 분할 성능을 달성합니다. 우리의 접근 방식은 GTA V → Cityscapes에서 1.05% mIoU, Synthia → Cityscapes에서 1.04% mIoU로 기존 UDA-SS 방법을 개선합니다. 우리 프레임워크의 구현은 https://github.com/Masrur02/AFRDA에서 확인할 수 있습니다.

English

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is trained on labeled source domain data (e.g., synthetic images) and adapted to an unlabeled target domain (e.g., real-world images) without access to target annotations. Existing UDA-SS methods often struggle to balance fine-grained local details with global contextual information, leading to segmentation errors in complex regions. To address this, we introduce the Adaptive Feature Refinement (AFR) module, which enhances segmentation accuracy by refining highresolution features using semantic priors from low-resolution logits. AFR also integrates high-frequency components, which capture fine-grained structures and provide crucial boundary information, improving object delineation. Additionally, AFR adaptively balances local and global information through uncertaintydriven attention, reducing misclassifications. Its lightweight design allows seamless integration into HRDA-based UDA methods, leading to state-of-the-art segmentation performance. Our approach improves existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on Synthia-->Cityscapes. The implementation of our framework is available at: https://github.com/Masrur02/AFRDA

AFRDA: 도메인 적응형 의미론적 분할을 위한 주의 기반 특징 정제

AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation

초록

Support