Affollati nello Spazio-B: Calibrazione di Direzioni Condivise per la Fusione di LoRA
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Autori: Yixuan Tang, Yi Yang
cs.AI
Abstract
La fusione di adattatori LoRA addestrati separatamente rappresenta un'alternativa pratica all'addestramento congiunto multi-task, ma spesso compromette le prestazioni. I metodi esistenti generalmente considerano l'aggiornamento LoRA ΔW = BA come un singolo oggetto e non distinguono le due matrici LoRA. Dimostriamo che la principale fonte di interferenza nella fusione LoRA proviene dalla matrice B sul lato dell'output. Tra diversi task, B riutilizza ripetutamente un piccolo insieme di direzioni condivise, mentre A rimane molto più specifica per il task. Di conseguenza, l'adattatore fuso enfatizza eccessivamente queste direzioni condivise e le informazioni specifiche del task vanno perse. Proponiamo Pico (Calibrazione pre-fusione dell'interferenza nello spazio di output), un metodo senza dati che calibra B prima della fusione ridimensionando le direzioni iper-condivise e quindi riscalando l'aggiornamento fuso. Pico si integra direttamente con metodi di fusione esistenti come Task Arithmetic, TIES e TSV-M. In otto benchmark diversi provenienti da ambiti matematici, di programmazione, finanziari e medici, Pico migliora l'accuratezza media di 3,4-8,3 punti rispetto al metodo base corrispondente e raggiunge le migliori prestazioni medie complessive. Pico consente inoltre agli adattatori fusi di superare le prestazioni del LoRA addestrato con tutti i dati dei task. Questi risultati dimostrano che la fusione LoRA funziona meglio quando le due matrici LoRA vengono trattate separatamente.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.