Adapter ou ne pas adapter ? L'adaptation en temps réel pour la segmentation sémantique

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Auteurs: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Résumé

L'objectif de l'adaptation de domaine en ligne pour la segmentation sémantique est de gérer les changements de domaine imprévisibles qui surviennent lors du déploiement, comme des événements météorologiques soudains. Cependant, les coûts de calcul élevés associés à une adaptation par force brute rendent ce paradigme irréalisable pour des applications réelles. Dans cet article, nous proposons HAMLET, un cadre de formation modulaire et peu coûteux conscient du matériel pour l'adaptation de domaine en temps réel. Notre approche inclut un agent d'orchestration de rétropropagation conscient du matériel (HAMT) et un détecteur dédié de changement de domaine qui permet un contrôle actif sur quand et comment le modèle est adapté (LT). Grâce à ces avancées, notre approche est capable d'effectuer une segmentation sémantique tout en s'adaptant simultanément à plus de 29 images par seconde sur une seule GPU grand public. Le compromis encourageant entre précision et vitesse de notre cadre est démontré sur les benchmarks OnDA et SHIFT à travers des résultats expérimentaux.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.