Adaptar ou não adaptar? Adaptação em tempo real para segmentação semântica

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

July 27, 2023

Autores: Marc Botet Colomer, Pier Luigi Dovesi, Theodoros Panagiotakopoulos, Joao Frederico Carvalho, Linus Härenstam-Nielsen, Hossein Azizpour, Hedvig Kjellström, Daniel Cremers, Matteo Poggi

cs.AI

Resumo

O objetivo da Adaptação de Domínio Online para segmentação semântica é lidar com mudanças de domínio imprevisíveis que ocorrem durante a implantação, como eventos climáticos repentinos. No entanto, os altos custos computacionais associados à adaptação por força bruta tornam esse paradigma inviável para aplicações do mundo real. Neste artigo, propomos o HAMLET, um framework de Treinamento Modular de Menor Custo Consciente de Hardware para adaptação de domínio em tempo real. Nossa abordagem inclui um agente de orquestração de retropropagação consciente de hardware (HAMT) e um detector dedicado de mudança de domínio que permite o controle ativo sobre quando e como o modelo é adaptado (LT). Graças a esses avanços, nossa abordagem é capaz de realizar segmentação semântica enquanto se adapta simultaneamente a mais de 29 FPS em uma única GPU de nível consumidor. A compensação encorajadora entre precisão e velocidade do nosso framework é demonstrada nos benchmarks OnDA e SHIFT por meio de resultados experimentais.

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.