Vol in de B-Ruimte: Het Kalibreren van Gedeelde Richtingen voor LoRA-Samenvoeging
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Auteurs: Yixuan Tang, Yi Yang
cs.AI
Samenvatting
Het samenvoegen van afzonderlijk getrainde LoRA-adapters is een praktisch alternatief voor gezamenlijke multi-tasktraining, maar dit gaat vaak ten koste van de prestaties. Bestaande methoden behandelen de LoRA-update ΔW = BA meestal als één enkel object en maken geen onderscheid tussen de twee LoRA-matrices. Wij tonen aan dat de belangrijkste bron van interferentie bij het samenvoegen van LoRA's afkomstig is van de uitvoerzijde-matrix B. Over taken heen gebruikt B herhaaldelijk een kleine set gedeelde richtingen, terwijl A veel taakspecifieker blijft. Hierdoor benadrukt de samengevoegde adapter deze gedeelde richtingen te sterk en gaat taakspecifieke informatie verloren. Wij stellen Pico voor (Pre-merge interference calibration in output-space), een data-vrije methode die B vóór het samenvoegen kalibreert door overgedeelde richtingen af te schalen en vervolgens de samengevoegde update te herschalen. Pico kan direct worden geïntegreerd in bestaande samenvoegmethoden zoals Task Arithmetic, TIES en TSV-M. Over acht verschillende benchmarks uit de domeinen wiskunde, programmeren, financiën en geneeskunde verbetert Pico de gemiddelde nauwkeurigheid met 3,4-8,3 punten ten opzichte van de corresponderende basismethode en behaalt de beste algehele gemiddelde prestaties. Pico stelt samengevoegde adapters ook in staat om beter te presteren dan de LoRA die met alle taakgegevens is getraind. Deze resultaten tonen aan dat het samenvoegen van LoRA's beter werkt wanneer de twee LoRA-matrices afzonderlijk worden behandeld.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.