Aglomerado no Espaço-B: Calibrando Direções Compartilhadas para Fusão de LoRA
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Autores: Yixuan Tang, Yi Yang
cs.AI
Resumo
A fusão de adaptadores LoRA treinados separadamente é uma alternativa prática ao treinamento multitarefa conjunto, mas frequentemente prejudica o desempenho. Os métodos existentes geralmente tratam a atualização LoRA ΔW = BA como um único objeto e não distinguem as duas matrizes LoRA. Mostramos que a principal fonte de interferência na fusão LoRA vem da matriz B do lado da saída. Entre tarefas, B reutiliza repetidamente um pequeno conjunto de direções compartilhadas, enquanto A permanece muito mais específica para a tarefa. Como resultado, o adaptador fundido enfatiza excessivamente essas direções compartilhadas, e a informação específica da tarefa é perdida. Propomos o Pico (Calibração de interferência pré-fusão no espaço de saída), um método livre de dados que calibra B antes da fusão, reduzindo a escala das direções excessivamente compartilhadas e depois reescalonando a atualização fundida. O Pico conecta-se diretamente a métodos de fusão existentes, como Task Arithmetic, TIES e TSV-M. Em oito benchmarks diferentes das áreas de matemática, programação, finanças e medicina, o Pico melhora a precisão média em 3,4 a 8,3 pontos em relação ao método base correspondente e alcança o melhor desempenho médio geral. O Pico também permite que adaptadores fundidos superem o LoRA treinado com todos os dados da tarefa. Esses resultados mostram que a fusão LoRA funciona melhor quando as duas matrizes LoRA são tratadas separadamente.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.