AFRDA: Refinamento de Características Atentivas para Segmentação Semântica com Adaptação de Domínio

AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation

July 23, 2025

Autores: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu

cs.AI

Resumo

Na Segmentação Semântica Adaptativa de Domínio Não Supervisionado (UDA-SS), um modelo é treinado com dados rotulados de um domínio de origem (por exemplo, imagens sintéticas) e adaptado a um domínio de destino não rotulado (por exemplo, imagens do mundo real) sem acesso às anotações do domínio de destino. Os métodos existentes de UDA-SS frequentemente enfrentam dificuldades para equilibrar detalhes locais refinados com informações contextuais globais, resultando em erros de segmentação em regiões complexas. Para resolver isso, introduzimos o módulo de Refinamento Adaptativo de Características (AFR), que melhora a precisão da segmentação refinando características de alta resolução usando prioridades semânticas de logits de baixa resolução. O AFR também integra componentes de alta frequência, que capturam estruturas refinadas e fornecem informações cruciais sobre os limites, melhorando a delimitação de objetos. Além disso, o AFR equilibra adaptativamente informações locais e globais por meio de atenção guiada por incerteza, reduzindo classificações incorretas. Seu design leve permite uma integração perfeita em métodos UDA baseados em HRDA, levando a um desempenho de segmentação de última geração. Nossa abordagem melhora os métodos existentes de UDA-SS em 1,05% mIoU em GTA V --> Cityscapes e 1,04% mIoU em Synthia --> Cityscapes. A implementação do nosso framework está disponível em: https://github.com/Masrur02/AFRDA.

English

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is trained on labeled source domain data (e.g., synthetic images) and adapted to an unlabeled target domain (e.g., real-world images) without access to target annotations. Existing UDA-SS methods often struggle to balance fine-grained local details with global contextual information, leading to segmentation errors in complex regions. To address this, we introduce the Adaptive Feature Refinement (AFR) module, which enhances segmentation accuracy by refining highresolution features using semantic priors from low-resolution logits. AFR also integrates high-frequency components, which capture fine-grained structures and provide crucial boundary information, improving object delineation. Additionally, AFR adaptively balances local and global information through uncertaintydriven attention, reducing misclassifications. Its lightweight design allows seamless integration into HRDA-based UDA methods, leading to state-of-the-art segmentation performance. Our approach improves existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on Synthia-->Cityscapes. The implementation of our framework is available at: https://github.com/Masrur02/AFRDA