SALT: 저랭크 변환을 통한 특이값 적응

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

저자: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

초록

의료 영상 분할의 복잡한 특성은 도메인 특화된 세부 특징을 포착하도록 특별히 설계된 모델을 요구합니다. 대규모 기반 모델(foundation model)은 상당한 유연성을 제공하지만, 이러한 모델을 미세 조정(fine-tuning)하는 데 드는 비용은 여전히 큰 장벽으로 남아 있습니다. 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 방법 중 하나인 Low-Rank Adaptation(LoRA)은 저랭크(low-rank) 행렬을 사용하여 모델 가중치를 효율적으로 업데이트하지만, 선택한 랭크가 도메인 특화된 뉘앙스를 포착하기에 부족할 경우 과소적합(underfitting) 문제가 발생할 수 있습니다. 반면, 완전 랭크(full-rank) 특이값 분해(Singular Value Decomposition, SVD) 기반 방법은 모든 특이값을 수정함으로써 포괄적인 업데이트를 제공하지만, 유연성이 부족하고 데이터셋 간 성능 변동이 큰 단점이 있습니다. 우리는 SALT(Singular Value Adaptation with Low-Rank Transformation)를 제안합니다. 이 방법은 학습 가능한 스케일 및 시프트 매개변수를 사용하여 가장 영향력 있는 특이값을 선택적으로 조정하는 동시에, 나머지 부분 공간에 대해 저랭크 업데이트를 보완합니다. 이 하이브리드 접근법은 LoRA와 SVD의 장점을 모두 활용하여 모델 크기나 깊이를 증가시키지 않으면서도 효과적인 적응을 가능하게 합니다. 20개에서 1000개에 이르는 5개의 도전적인 의료 데이터셋에서 평가한 결과, SALT는 단 3.9%의 학습 가능한 매개변수만으로도 LoRA 및 SVD와 같은 최신 PEFT 방법을 Dice 점수에서 2%에서 5%까지 능가하며, 저자원 환경에서도 강력한 적응 능력을 입증했습니다. SALT의 코드는 https://github.com/BioMedIA-MBZUAI/SALT에서 확인할 수 있습니다.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT