セマンティックライブラリ適応：オープン語彙セマンティックセグメンテーションのためのLoRA検索と融合

Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation

March 27, 2025

著者: Reza Qorbani, Gianluca Villani, Theodoros Panagiotakopoulos, Marc Botet Colomer, Linus Härenstam-Nielsen, Mattia Segu, Pier Luigi Dovesi, Jussi Karlgren, Daniel Cremers, Federico Tombari, Matteo Poggi

cs.AI

要旨

オープン語彙セマンティックセグメンテーションモデルは、視覚とテキストを関連付け、テキストクエリを用いて未定義のクラスセットからピクセルにラベルを付けることで、新しいデータセットに対して汎用的な性能を発揮します。しかし、訓練とテストのドメイン間の大きな乖離は性能を低下させ、実世界のアプリケーションで効果的に機能させるためにはファインチューニングが必要となります。本研究では、Semantic Library Adaptation (SemLA) という、訓練不要のテスト時ドメイン適応のための新しいフレームワークを提案します。SemLA は、CLIP埋め込みでインデックス化されたLoRAベースのアダプタのライブラリを活用し、埋め込み空間内でのターゲットドメインへの近接性に基づいて最も関連性の高いアダプタを動的に統合します。このアプローチにより、追加の訓練なしに、各特定の入力に合わせたアドホックなモデルを構築します。本手法は効率的にスケーリングし、アダプタの貢献を追跡することで説明可能性を向上させ、データプライバシーを本質的に保護するため、機密性の高いアプリケーションに最適です。10の標準データセットに基づいて構築された20ドメインベンチマークでの包括的な実験により、SemLAが多様な設定において優れた適応性と性能を発揮し、オープン語彙セマンティックセグメンテーションのドメイン適応において新たな標準を確立することが示されました。

English

Open-vocabulary semantic segmentation models associate vision and text to label pixels from an undefined set of classes using textual queries, providing versatile performance on novel datasets. However, large shifts between training and test domains degrade their performance, requiring fine-tuning for effective real-world applications. We introduce Semantic Library Adaptation (SemLA), a novel framework for training-free, test-time domain adaptation. SemLA leverages a library of LoRA-based adapters indexed with CLIP embeddings, dynamically merging the most relevant adapters based on proximity to the target domain in the embedding space. This approach constructs an ad-hoc model tailored to each specific input without additional training. Our method scales efficiently, enhances explainability by tracking adapter contributions, and inherently protects data privacy, making it ideal for sensitive applications. Comprehensive experiments on a 20-domain benchmark built over 10 standard datasets demonstrate SemLA's superior adaptability and performance across diverse settings, establishing a new standard in domain adaptation for open-vocabulary semantic segmentation.