SALT: Singuliere Waarde Aanpassing met Laag-Rang Transformatie

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Auteurs: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Samenvatting

De complexe aard van medische beeldsegmentatie vereist modellen die specifiek zijn ontworpen om gedetailleerde, domeinspecifieke kenmerken vast te leggen. Grote foundation-modellen bieden aanzienlijke flexibiliteit, maar de kosten van fine-tuning blijven een belangrijk obstakel. Parameter-Efficient Fine-Tuning (PEFT) methoden, zoals Low-Rank Adaptation (LoRA), werken efficiënt door modelgewichten bij te werken met low-rank matrices, maar kunnen onderfitting vertonen wanneer de gekozen rang onvoldoende is om domeinspecifieke nuances vast te leggen. Aan de andere kant bieden full-rank Singular Value Decomposition (SVD) gebaseerde methoden uitgebreide updates door alle singuliere waarden aan te passen, maar ze missen vaak flexibiliteit en vertonen wisselende prestaties over verschillende datasets. Wij stellen SALT (Singular Value Adaptation with Low-Rank Transformation) voor, een methode die selectief de meest invloedrijke singuliere waarden aanpast met behulp van trainbare schaal- en verschuivingsparameters, terwijl dit wordt aangevuld met een low-rank update voor de resterende deelruimte. Deze hybride aanpak benut de voordelen van zowel LoRA als SVD, waardoor effectieve aanpassing mogelijk is zonder te vertrouwen op het vergroten van de modelgrootte of -diepte. Geëvalueerd op 5 uitdagende medische datasets, variërend van slechts 20 tot 1000 samples, presteert SALT 2% tot 5% beter in Dice dan state-of-the-art PEFT (LoRA en SVD) met slechts 3,9% trainbare parameters, wat robuuste aanpassing aantoont zelfs in situaties met beperkte middelen. De code voor SALT is beschikbaar op: https://github.com/BioMedIA-MBZUAI/SALT.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT