시맨틱 라이브러리 적응: 오픈-보커블러리 시맨틱 세그멘테이션을 위한 LoRA 검색 및 융합

Semantic Library Adaptation: LoRA Retrieval and Fusion for Open-Vocabulary Semantic Segmentation

March 27, 2025

저자: Reza Qorbani, Gianluca Villani, Theodoros Panagiotakopoulos, Marc Botet Colomer, Linus Härenstam-Nielsen, Mattia Segu, Pier Luigi Dovesi, Jussi Karlgren, Daniel Cremers, Federico Tombari, Matteo Poggi

cs.AI

초록

오픈-보캐블러리 시맨틱 세그멘테이션 모델은 시각과 텍스트를 연관시켜 텍스트 쿼리를 사용하여 정의되지 않은 클래스 집합에서 픽셀에 레이블을 지정하며, 새로운 데이터셋에서도 다재다능한 성능을 제공합니다. 그러나 훈련과 테스트 도메인 간의 큰 차이는 이러한 모델의 성능을 저하시켜, 실제 세계 응용에서 효과적으로 사용하기 위해 미세 조정이 필요합니다. 우리는 훈련 없이 테스트 시간에 도메인 적응을 수행하는 새로운 프레임워크인 Semantic Library Adaptation (SemLA)을 소개합니다. SemLA는 CLIP 임베딩으로 인덱싱된 LoRA 기반 어댑터 라이브러리를 활용하여, 임베딩 공간에서 타겟 도메인과의 근접성을 기반으로 가장 관련성이 높은 어댑터를 동적으로 병합합니다. 이 접근 방식은 추가 훈련 없이 각 특정 입력에 맞춤화된 임시 모델을 구성합니다. 우리의 방법은 효율적으로 확장 가능하며, 어댑터 기여도를 추적함으로써 설명 가능성을 향상시키고, 데이터 프라이버시를 본질적으로 보호하여 민감한 응용에 이상적입니다. 10개의 표준 데이터셋을 기반으로 구축된 20개 도메인 벤치마크에서의 포괄적인 실험은 SemLA의 다양한 설정에서의 우수한 적응성과 성능을 입증하며, 오픈-보캐블러리 시맨틱 세그멘테이션을 위한 도메인 적응의 새로운 표준을 제시합니다.

English

Open-vocabulary semantic segmentation models associate vision and text to label pixels from an undefined set of classes using textual queries, providing versatile performance on novel datasets. However, large shifts between training and test domains degrade their performance, requiring fine-tuning for effective real-world applications. We introduce Semantic Library Adaptation (SemLA), a novel framework for training-free, test-time domain adaptation. SemLA leverages a library of LoRA-based adapters indexed with CLIP embeddings, dynamically merging the most relevant adapters based on proximity to the target domain in the embedding space. This approach constructs an ad-hoc model tailored to each specific input without additional training. Our method scales efficiently, enhances explainability by tracking adapter contributions, and inherently protects data privacy, making it ideal for sensitive applications. Comprehensive experiments on a 20-domain benchmark built over 10 standard datasets demonstrate SemLA's superior adaptability and performance across diverse settings, establishing a new standard in domain adaptation for open-vocabulary semantic segmentation.