SALT: 低ランク変換を用いた特異値適応

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

著者: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

要旨

医療画像セグメンテーションの複雑な性質を考えると、詳細なドメイン固有の特徴を捉えるために特別に設計されたモデルが必要です。大規模な基盤モデルは高い柔軟性を提供しますが、これらのモデルのファインチューニングにかかるコストは依然として大きな障壁となっています。パラメータ効率型ファインチューニング（PEFT）手法、例えばLow-Rank Adaptation（LoRA）は、低ランク行列を用いてモデルの重みを効率的に更新しますが、選択したランクがドメイン固有のニュアンスを捉えるのに不十分な場合、アンダーフィッティングの問題が生じる可能性があります。一方、フルランクの特異値分解（SVD）ベースの手法は、すべての特異値を変更することで包括的な更新を提供しますが、柔軟性に欠け、データセット間で性能がばらつく傾向があります。本論文では、SALT（Singular Value Adaptation with Low-Rank Transformation）を提案します。この手法は、最も影響力のある特異値を学習可能なスケールおよびシフトパラメータを用いて選択的に適応させ、残りの部分空間に対して低ランク更新を補完します。このハイブリッドアプローチは、LoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増やすことなく効果的な適応を可能にします。20サンプルから1000サンプルまでの5つの難易度の高い医療データセットで評価した結果、SALTは最先端のPEFT（LoRAおよびSVD）をDice係数で2%から5%上回り、わずか3.9%の学習可能パラメータで、低リソース環境下でも堅牢な適応性を示しました。SALTのコードは以下で公開されています：https://github.com/BioMedIA-MBZUAI/SALT

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT