적응할 것인가, 말 것인가? 실시간 적응을 통한 시맨틱 세그멘테이션

초록

온라인 도메인 적응(Online Domain Adaptation)의 목표는 배포 중에 발생하는 갑작스러운 기상 변화와 같은 예측 불가능한 도메인 변화를 처리하는 것입니다. 그러나 무차별적 적응 방식과 관련된 높은 계산 비용으로 인해 이 패러다임은 실제 응용 프로그램에서 실행하기 어렵습니다. 본 논문에서는 실시간 도메인 적응을 위한 하드웨어 인지형 모듈식 최소 비용 학습 프레임워크인 HAMLET을 제안합니다. 우리의 접근 방식은 하드웨어 인지형 역전파 조정 에이전트(HAMT)와 모델이 언제, 어떻게 적응할지 활성적으로 제어할 수 있는 전용 도메인 변화 탐지기를 포함합니다. 이러한 발전 덕분에 우리의 접근 방식은 단일 소비자용 GPU에서 29FPS 이상의 속도로 동시에 적응하며 시맨틱 세그멘테이션을 수행할 수 있습니다. 우리 프레임워크의 우수한 정확도와 속도의 균형은 OnDA 및 SHIFT 벤치마크를 통해 실험 결과로 입증되었습니다.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.

적응할 것인가, 말 것인가? 실시간 적응을 통한 시맨틱 세그멘테이션

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

초록

Support