¿Adaptar o no adaptar? Adaptación en tiempo real para segmentación semántica

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Autores: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Resumen

El objetivo de la Adaptación de Dominio en Línea para la segmentación semántica es manejar cambios de dominio imprevisibles que ocurren durante el despliegue, como eventos climáticos repentinos. Sin embargo, los altos costos computacionales asociados con la adaptación por fuerza bruta hacen que este paradigma sea inviable para aplicaciones del mundo real. En este artículo proponemos HAMLET, un marco de Entrenamiento Modular de Menor Costo Consciente del Hardware para la adaptación de dominio en tiempo real. Nuestro enfoque incluye un agente de orquestación de retropropagación consciente del hardware (HAMT) y un detector dedicado de cambios de dominio que permite un control activo sobre cuándo y cómo se adapta el modelo (LT). Gracias a estos avances, nuestro enfoque es capaz de realizar segmentación semántica mientras se adapta simultáneamente a más de 29 FPS en una sola GPU de consumo. El equilibrio alentador entre precisión y velocidad de nuestro marco se demuestra en los puntos de referencia OnDA y SHIFT a través de resultados experimentales.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.