SALT: Адаптация сингулярных значений с низкоранговым преобразованием

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Авторы: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Аннотация

Сложный характер сегментации медицинских изображений требует моделей, специально разработанных для захвата детальных, специфичных для предметной области особенностей. Крупные базовые модели предлагают значительную гибкость, однако стоимость их тонкой настройки остается существенным препятствием. Методы параметрически эффективной тонкой настройки (Parameter-Efficient Fine-Tuning, PEFT), такие как Low-Rank Adaptation (LoRA), эффективно обновляют веса моделей с использованием низкоранговых матриц, но могут страдать от недообучения, если выбранный ранг недостаточен для захвата специфичных для предметной области нюансов. С другой стороны, методы, основанные на полном ранге с использованием сингулярного разложения (Singular Value Decomposition, SVD), обеспечивают всесторонние обновления, изменяя все сингулярные значения, однако часто им не хватает гибкости, и их производительность варьируется в зависимости от набора данных. Мы предлагаем SALT (Singular Value Adaptation with Low-Rank Transformation) — метод, который избирательно адаптирует наиболее влиятельные сингулярные значения с использованием обучаемых параметров масштаба и сдвига, дополняя это низкоранговым обновлением для оставшегося подпространства. Этот гибридный подход объединяет преимущества как LoRA, так и SVD, позволяя эффективную адаптацию без увеличения размера или глубины модели. Протестированный на 5 сложных медицинских наборах данных, начиная от 20 образцов и до 1000, SALT превосходит современные методы PEFT (LoRA и SVD) на 2% до 5% по метрике Dice, используя всего 3.9% обучаемых параметров, демонстрируя устойчивую адаптацию даже в условиях ограниченных ресурсов. Код для SALT доступен по адресу: https://github.com/BioMedIA-MBZUAI/SALT.

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT