Anpassen oder nicht anpassen? Echtzeit-Anpassung für semantische Segmentierung

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Autoren: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Zusammenfassung

Das Ziel von Online-Domain-Adaptation für semantische Segmentierung besteht darin, unvorhersehbare Domänenänderungen zu bewältigen, die während des Einsatzes auftreten, wie plötzliche Wetterereignisse. Die hohen Rechenkosten, die mit einer Brute-Force-Adaptation verbunden sind, machen dieses Paradigma jedoch für reale Anwendungen unpraktikabel. In diesem Artikel schlagen wir HAMLET vor, ein Hardware-Aware Modular Least Expensive Training-Framework für Echtzeit-Domain-Adaptation. Unser Ansatz umfasst einen hardwarebewussten Backpropagation-Orchestrierungsagenten (HAMT) und einen dedizierten Domänenverschiebungsdetektor, der eine aktive Kontrolle darüber ermöglicht, wann und wie das Modell angepasst wird (LT). Dank dieser Fortschritte ist unser Ansatz in der Lage, semantische Segmentierung durchzuführen und gleichzeitig mit mehr als 29 FPS auf einer einzigen Consumer-GPU zu adaptieren. Das vielversprechende Verhältnis zwischen Genauigkeit und Geschwindigkeit unseres Frameworks wird anhand von experimentellen Ergebnissen auf den OnDA- und SHIFT-Benchmarks demonstriert.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.