AFRDA: Внимательное уточнение признаков для адаптивной семантической сегментации доменов

AFRDA: Attentive Feature Refinement for Domain Adaptive Semantic Segmentation

July 23, 2025

Авторы: Md. Al-Masrur Khan, Durgakant Pushp, Lantao Liu

cs.AI

Аннотация

В задаче семантической сегментации с адаптацией к домену без учителя (UDA-SS) модель обучается на размеченных данных исходного домена (например, синтетических изображениях) и адаптируется к неразмеченному целевому домену (например, реальным изображениям) без доступа к аннотациям целевого домена. Существующие методы UDA-SS часто сталкиваются с трудностями в балансировке мелкозернистых локальных деталей и глобальной контекстной информации, что приводит к ошибкам сегментации в сложных областях. Для решения этой проблемы мы представляем модуль Adaptive Feature Refinement (AFR), который повышает точность сегментации, уточняя высокоразрешающие признаки с использованием семантических априорных данных из низкоразрешающих логитов. AFR также интегрирует высокочастотные компоненты, которые захватывают мелкозернистые структуры и предоставляют важную информацию о границах, улучшая выделение объектов. Кроме того, AFR адаптивно балансирует локальную и глобальную информацию с помощью внимания, управляемого неопределенностью, что снижает количество ошибок классификации. Его легковесный дизайн позволяет легко интегрировать его в методы UDA, основанные на HRDA, что приводит к передовым результатам в сегментации. Наш подход улучшает существующие методы UDA-SS на 1.05% mIoU для GTA V --> Cityscapes и на 1.04% mIoU для Synthia-->Cityscapes. Реализация нашей платформы доступна по адресу: https://github.com/Masrur02/AFRDA.

English

In Unsupervised Domain Adaptive Semantic Segmentation (UDA-SS), a model is trained on labeled source domain data (e.g., synthetic images) and adapted to an unlabeled target domain (e.g., real-world images) without access to target annotations. Existing UDA-SS methods often struggle to balance fine-grained local details with global contextual information, leading to segmentation errors in complex regions. To address this, we introduce the Adaptive Feature Refinement (AFR) module, which enhances segmentation accuracy by refining highresolution features using semantic priors from low-resolution logits. AFR also integrates high-frequency components, which capture fine-grained structures and provide crucial boundary information, improving object delineation. Additionally, AFR adaptively balances local and global information through uncertaintydriven attention, reducing misclassifications. Its lightweight design allows seamless integration into HRDA-based UDA methods, leading to state-of-the-art segmentation performance. Our approach improves existing UDA-SS methods by 1.05% mIoU on GTA V --> Cityscapes and 1.04% mIoU on Synthia-->Cityscapes. The implementation of our framework is available at: https://github.com/Masrur02/AFRDA