Адаптироваться или не адаптироваться? Реальное время адаптации для семантической сегментации

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Авторы: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Аннотация

Цель онлайн-адаптации домена для семантической сегментации заключается в обработке непредвиденных изменений домена, возникающих во время эксплуатации, таких как внезапные изменения погоды. Однако высокие вычислительные затраты, связанные с методом грубой силы, делают этот подход непригодным для реальных приложений. В данной статье мы предлагаем HAMLET — аппаратно-ориентированную модульную систему обучения с минимальными затратами (Hardware-Aware Modular Least Expensive Training) для адаптации домена в реальном времени. Наш подход включает аппаратно-ориентированный агент оркестрации обратного распространения (HAMT) и специализированный детектор сдвига домена, который позволяет активно контролировать, когда и как модель адаптируется (LT). Благодаря этим усовершенствованиям наш подход способен выполнять семантическую сегментацию с одновременной адаптацией на скорости более 29 кадров в секунду на одной потребительской видеокарте. Убедительный компромисс между точностью и скоростью нашей системы демонстрируется на тестах OnDA и SHIFT с помощью экспериментальных результатов.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.