Aanpassen of niet aanpassen? Real-time aanpassing voor semantische segmentatie

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Auteurs: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Samenvatting

Het doel van Online Domeinadaptatie voor semantische segmentatie is het omgaan met onvoorziene domeinveranderingen die optreden tijdens de implementatie, zoals plotselinge weersomstandigheden. De hoge rekenkosten die gepaard gaan met brute-force-adaptatie maken dit paradigma echter onhaalbaar voor real-world toepassingen. In dit artikel stellen we HAMLET voor, een Hardware-Aware Modular Least Expensive Training-framework voor real-time domeinadaptatie. Onze aanpak omvat een hardware-aware backpropagation orchestration agent (HAMT) en een toegewijde domeinverschuivingsdetector die actieve controle mogelijk maakt over wanneer en hoe het model wordt aangepast (LT). Dankzij deze vooruitgang is onze aanpak in staat om semantische segmentatie uit te voeren terwijl deze tegelijkertijd adapteert met meer dan 29 FPS op een enkele consumenten-GPU. De veelbelovende balans tussen nauwkeurigheid en snelheid van ons framework wordt aangetoond op de OnDA- en SHIFT-benchmarks door middel van experimentele resultaten.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.