SALT: Adaptación de Valores Singulares con Transformación de Bajo Rango

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Autores: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Resumen

La naturaleza compleja de la segmentación de imágenes médicas requiere modelos diseñados específicamente para capturar características detalladas y específicas del dominio. Los grandes modelos fundacionales ofrecen una flexibilidad considerable, pero el costo de ajustarlos sigue siendo una barrera significativa. Los métodos de Ajuste Eficiente de Parámetros (PEFT, por sus siglas en inglés), como la Adaptación de Bajo Rango (LoRA), actualizan eficientemente los pesos del modelo mediante matrices de bajo rango, pero pueden sufrir de subajuste cuando el rango elegido es insuficiente para capturar los matices específicos del dominio. Por el contrario, los métodos basados en Descomposición en Valores Singulares (SVD) de rango completo proporcionan actualizaciones exhaustivas al modificar todos los valores singulares, aunque a menudo carecen de flexibilidad y muestran un rendimiento variable entre conjuntos de datos. Proponemos SALT (Adaptación de Valores Singulares con Transformación de Bajo Rango), un método que adapta selectivamente los valores singulares más influyentes utilizando parámetros entrenables de escala y desplazamiento, complementando esto con una actualización de bajo rango para el subespacio restante. Este enfoque híbrido aprovecha las ventajas tanto de LoRA como de SVD, permitiendo una adaptación efectiva sin depender del aumento del tamaño o la profundidad del modelo. Evaluado en 5 conjuntos de datos médicos desafiantes, que van desde tan solo 20 muestras hasta 1000, SALT supera a los métodos PEFT más avanzados (LoRA y SVD) en un 2% a 5% en la métrica Dice con solo un 3.9% de parámetros entrenables, demostrando una adaptación robusta incluso en entornos de bajos recursos. El código de SALT está disponible en: https://github.com/BioMedIA-MBZUAI/SALT.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT