SALT : Adaptation par Valeurs Singulières avec Transformation de Bas Rang

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Auteurs: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Résumé

La nature complexe de la segmentation d'images médicales nécessite des modèles spécifiquement conçus pour capturer des caractéristiques détaillées et propres au domaine. Les grands modèles de base offrent une flexibilité considérable, mais le coût de leur ajustement fin reste un obstacle majeur. Les méthodes d'ajustement fin paramétriquement efficaces (PEFT), telles que l'adaptation de bas rang (LoRA), mettent à jour efficacement les poids du modèle avec des matrices de bas rang, mais peuvent souffrir de sous-ajustement lorsque le rang choisi est insuffisant pour capturer les nuances spécifiques au domaine. À l'inverse, les méthodes basées sur la décomposition en valeurs singulières (SVD) de rang complet fournissent des mises à jour exhaustives en modifiant toutes les valeurs singulières, mais manquent souvent de flexibilité et présentent des performances variables selon les ensembles de données. Nous proposons SALT (Adaptation des Valeurs Singulières avec Transformation de Bas Rang), une méthode qui adapte sélectivement les valeurs singulières les plus influentes à l'aide de paramètres d'échelle et de décalage entraînables, tout en complétant cela par une mise à jour de bas rang pour le sous-espace restant. Cette approche hybride combine les avantages de LoRA et de SVD, permettant une adaptation efficace sans augmenter la taille ou la profondeur du modèle. Évalué sur 5 ensembles de données médicales complexes, allant de 20 à 1000 échantillons, SALT surpasse les méthodes PEFT de pointe (LoRA et SVD) de 2 % à 5 % en termes de score Dice avec seulement 3,9 % de paramètres entraînables, démontrant une adaptation robuste même dans des contextes à ressources limitées. Le code de SALT est disponible à l'adresse suivante : https://github.com/BioMedIA-MBZUAI/SALT.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT