Gedrängt im B-Raum: Kalibrierung gemeinsamer Richtungen für die LoRA-Fusion
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Autoren: Yixuan Tang, Yi Yang
cs.AI
Zusammenfassung
Das Zusammenführen separat trainierter LoRA-Adapter ist eine praktische Alternative zum gemeinsamen Multitask-Training, führt jedoch häufig zu Leistungseinbußen. Bestehende Methoden behandeln das LoRA-Update ΔW = BA meist als ein einzelnes Objekt und unterscheiden nicht zwischen den beiden LoRA-Matrizen. Wir zeigen, dass die Hauptquelle für Interferenzen beim LoRA-Merge von der ausgabeseitigen Matrix B stammt. Über verschiedene Aufgaben hinweg verwendet B wiederholt einen kleinen Satz gemeinsamer Richtungen, während A deutlich aufgabenspezifischer bleibt. Infolgedessen betont der zusammengeführte Adapter diese gemeinsamen Richtungen übermäßig hervor, und aufgabenspezifische Informationen gehen verloren. Wir schlagen Pico (Pre-merge interference calibration in output-space) vor, eine datenfreie Methode, die B vor dem Merge kalibriert, indem übermäßig genutzte gemeinsame Richtungen herunterskaliert und anschließend das zusammengeführte Update neu skaliert wird. Pico lässt sich direkt in bestehende Merge-Methoden wie Task Arithmetic, TIES und TSV-M integrieren. Über acht verschiedene Benchmarks aus den Bereichen Mathematik, Programmierung, Finanzen und Medizin verbessert Pico die durchschnittliche Genauigkeit um 3,4–8,3 Punkte gegenüber der jeweiligen Basismethode und erzielt die insgesamt beste Durchschnittsleistung. Pico ermöglicht es zusammengeführten Adaptern sogar, das mit allen Aufgabendaten trainierte LoRA zu übertreffen. Diese Ergebnisse zeigen, dass das LoRA-Merging besser funktioniert, wenn die beiden LoRA-Matrizen separat behandelt werden.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.