SALT: Adaptação de Valores Singulares com Transformação de Baixo Rank

SALT: Singular Value Adaptation with Low-Rank Transformation

March 20, 2025

Autores: Abdelrahman Elsayed, Sarim Hashmi, Mohammed Elseiagy, Hu Wang, Mohammad Yaqub, Ibrahim Almakky

cs.AI

Resumo

A natureza complexa da segmentação de imagens médicas exige modelos que sejam especificamente projetados para capturar características detalhadas e específicas do domínio. Modelos de base grandes oferecem considerável flexibilidade, mas o custo de ajuste fino desses modelos continua sendo uma barreira significativa. Métodos de Ajuste Fino Eficiente em Parâmetros (PEFT), como a Adaptação de Baixa Classificação (LoRA), atualizam eficientemente os pesos do modelo com matrizes de baixa classificação, mas podem sofrer de subajuste quando a classificação escolhida é insuficiente para capturar nuances específicas do domínio. Por outro lado, métodos baseados em Decomposição em Valores Singulares (SVD) de classificação completa fornecem atualizações abrangentes modificando todos os valores singulares, mas muitas vezes carecem de flexibilidade e apresentam desempenho variável entre conjuntos de dados. Propomos o SALT (Adaptação de Valores Singulares com Transformação de Baixa Classificação), um método que adapta seletivamente os valores singulares mais influentes usando parâmetros de escala e deslocamento treináveis, enquanto complementa isso com uma atualização de baixa classificação para o subespaço restante. Essa abordagem híbrida aproveita as vantagens tanto do LoRA quanto do SVD, permitindo uma adaptação eficaz sem depender do aumento do tamanho ou da profundidade do modelo. Avaliado em 5 conjuntos de dados médicos desafiadores, variando de apenas 20 amostras a 1000, o SALT supera os PEFT de última geração (LoRA e SVD) em 2% a 5% no índice Dice com apenas 3,9% dos parâmetros treináveis, demonstrando uma adaptação robusta mesmo em cenários de baixos recursos. O código do SALT está disponível em: https://github.com/BioMedIA-MBZUAI/SALT

English

The complex nature of medical image segmentation calls for models that are specifically designed to capture detailed, domain-specific features. Large foundation models offer considerable flexibility, yet the cost of fine-tuning these models remains a significant barrier. Parameter-Efficient Fine-Tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), efficiently update model weights with low-rank matrices but may suffer from underfitting when the chosen rank is insufficient to capture domain-specific nuances. Conversely, full-rank Singular Value Decomposition (SVD) based methods provide comprehensive updates by modifying all singular values, yet they often lack flexibility and exhibit variable performance across datasets. We propose SALT (Singular Value Adaptation with Low-Rank Transformation), a method that selectively adapts the most influential singular values using trainable scale and shift parameters while complementing this with a low-rank update for the remaining subspace. This hybrid approach harnesses the advantages of both LoRA and SVD, enabling effective adaptation without relying on increasing model size or depth. Evaluated on 5 challenging medical datasets, ranging from as few as 20 samples to 1000, SALT outperforms state-of-the-art PEFT (LoRA and SVD) by 2% to 5% in Dice with only 3.9% trainable parameters, demonstrating robust adaptation even in low-resource settings. The code for SALT is available at: https://github.com/BioMedIA-MBZUAI/SALT