適応すべきか、それとも適応すべきでないか？セマンティックセグメンテーションのためのリアルタイム適応

要旨

オンラインドメイン適応の目的は、セマンティックセグメンテーションにおいて、展開中に発生する予測不可能なドメイン変化（例えば突発的な気象現象）に対処することです。しかし、力任せの適応手法に伴う高い計算コストのため、このパラダイムは実世界のアプリケーションでは実現不可能でした。本論文では、リアルタイムドメイン適応のためのハードウェア対応型モジュラー最小コストトレーニングフレームワーク「HAMLET」を提案します。我々のアプローチは、ハードウェア対応型バックプロパゲーション調整エージェント（HAMT）と、モデルがいつどのように適応するかを能動的に制御する専用ドメインシフト検出器（LT）を含んでいます。これらの進歩により、我々のアプローチは、単一のコンシューマー向けGPU上で29FPS以上の速度でセマンティックセグメンテーションを実行しながら同時に適応を行うことが可能です。OnDAおよびSHIFTベンチマークにおける実験結果を通じて、本フレームワークの精度と速度の良好なトレードオフが実証されています。

English

The goal of Online Domain Adaptation for semantic segmentation is to handle unforeseeable domain changes that occur during deployment, like sudden weather events. However, the high computational costs associated with brute-force adaptation make this paradigm unfeasible for real-world applications. In this paper we propose HAMLET, a Hardware-Aware Modular Least Expensive Training framework for real-time domain adaptation. Our approach includes a hardware-aware back-propagation orchestration agent (HAMT) and a dedicated domain-shift detector that enables active control over when and how the model is adapted (LT). Thanks to these advancements, our approach is capable of performing semantic segmentation while simultaneously adapting at more than 29FPS on a single consumer-grade GPU. Our framework's encouraging accuracy and speed trade-off is demonstrated on OnDA and SHIFT benchmarks through experimental results.

適応すべきか、それとも適応すべきでないか？セマンティックセグメンテーションのためのリアルタイム適応

To Adapt or Not to Adapt? Real-Time Adaptation for Semantic Segmentation

要旨

Support