SALT: Adattamento ai Valori Singolari con Trasformazione a Basso Rango

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Autori: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Abstract

La natura complessa della segmentazione delle immagini mediche richiede modelli specificamente progettati per catturare caratteristiche dettagliate e specifiche del dominio. I grandi modelli di base offrono una notevole flessibilità, ma il costo del fine-tuning di questi modelli rimane un ostacolo significativo. I metodi di Fine-Tuning Efficiente dei Parametri (PEFT), come l'Adattamento a Basso Rango (LoRA), aggiornano in modo efficiente i pesi del modello utilizzando matrici a basso rango, ma possono soffrire di underfitting quando il rango scelto è insufficiente per catturare le sfumature specifiche del dominio. Al contrario, i metodi basati sulla Decomposizione ai Valori Singolari (SVD) a rango completo forniscono aggiornamenti completi modificando tutti i valori singolari, ma spesso mancano di flessibilità e mostrano prestazioni variabili tra i diversi dataset. Proponiamo SALT (Adattamento ai Valori Singolari con Trasformazione a Basso Rango), un metodo che adatta selettivamente i valori singolari più influenti utilizzando parametri di scala e spostamento addestrabili, integrando questo con un aggiornamento a basso rango per il sottospazio rimanente. Questo approccio ibrido sfrutta i vantaggi sia di LoRA che di SVD, consentendo un adattamento efficace senza fare affidamento sull'aumento delle dimensioni o della profondità del modello. Valutato su 5 dataset medici impegnativi, che vanno da un minimo di 20 campioni a 1000, SALT supera i migliori metodi PEFT (LoRA e SVD) del 2% al 5% in termini di Dice con solo il 3,9% dei parametri addestrabili, dimostrando un adattamento robusto anche in contesti con risorse limitate. Il codice per SALT è disponibile all'indirizzo: https://github.com/BioMedIA-MBZUAI/SALT

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT