Aglomerados en el Espacio-B: Calibrando Direcciones Compartidas para la Fusión de LoRA
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Autores: Yixuan Tang, Yi Yang
cs.AI
Resumen
La fusión de adaptadores LoRA entrenados por separado es una alternativa práctica al entrenamiento multitarea conjunto, pero a menudo perjudica el rendimiento. Los métodos existentes suelen tratar la actualización LoRA ΔW = BA como un único objeto y no distinguen las dos matrices LoRA. Demostramos que la principal fuente de interferencia en la fusión de LoRA proviene de la matriz B del lado de la salida. Entre diferentes tareas, B utiliza repetidamente un pequeño conjunto de direcciones compartidas, mientras que A permanece mucho más específica de la tarea. Como resultado, el adaptador fusionado enfatiza en exceso estas direcciones compartidas y se pierde la información específica de la tarea. Proponemos Pico (Calibración de interferencia pre-fusión en el espacio de salida), un método sin datos que calibra B antes de la fusión reduciendo la escala de las direcciones sobreexplotadas y luego reescalando la actualización fusionada. Pico se integra directamente en métodos de fusión existentes como Task Arithmetic, TIES y TSV-M. En ocho benchmarks diferentes de dominios como matemáticas, programación, finanzas y medicina, Pico mejora la precisión promedio en 3.4-8.3 puntos sobre el método base correspondiente y logra el mejor rendimiento promedio general. Pico también permite que los adaptadores fusionados superen al LoRA entrenado con todos los datos de las tareas. Estos resultados demuestran que la fusión de LoRA funciona mejor cuando las dos matrices LoRA se tratan por separado.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.