Adattarsi o non adattarsi? Adattamento in tempo reale per la segmentazione semantica

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Autori: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Abstract

L'obiettivo dell'Adattamento di Dominio Online per la segmentazione semantica è gestire cambiamenti di dominio imprevedibili che si verificano durante il dispiegamento, come eventi meteorologici improvvisi. Tuttavia, gli elevati costi computazionali associati all'adattamento a forza bruta rendono questo paradigma impraticabile per applicazioni nel mondo reale. In questo articolo proponiamo HAMLET, un framework Hardware-Aware Modular Least Expensive Training per l'adattamento di dominio in tempo reale. Il nostro approccio include un agente di orchestrazione della retropropagazione consapevole dell'hardware (HAMT) e un rilevatore dedicato di cambiamenti di dominio che consente un controllo attivo su quando e come il modello viene adattato (LT). Grazie a questi progressi, il nostro approccio è in grado di eseguire la segmentazione semantica mentre si adatta simultaneamente a più di 29FPS su una singola GPU di livello consumer. Il promettente compromesso tra accuratezza e velocità del nostro framework è dimostrato sui benchmark OnDA e SHIFT attraverso risultati sperimentali.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.