Surcharge dans l'Espace-B : Calibration des Directions Partagées pour la Fusion LoRA
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Auteurs: Yixuan Tang, Yi Yang
cs.AI
Résumé
La fusion d'adaptateurs LoRA entraînés séparément est une alternative pratique à l'apprentissage multitâche conjoint, mais elle nuit souvent aux performances. Les méthodes existantes traitent généralement la mise à jour LoRA ΔW = BA comme un objet unique et ne distinguent pas les deux matrices LoRA. Nous montrons que la principale source d'interférence lors de la fusion LoRA provient de la matrice de sortie B. D'une tâche à l'autre, B réutilise un petit ensemble de directions partagées, tandis que A reste bien plus spécifique à chaque tâche. Par conséquent, l'adaptateur fusionné surestime ces directions partagées et les informations spécifiques aux tâches sont perdues. Nous proposons Pico (Calibrage pré-fusion des interférences dans l'espace de sortie), une méthode sans données qui calibre B avant la fusion en réduisant l'échelle des directions sur-partagées, puis en remettant à l'échelle la mise à jour fusionnée. Pico s'intègre directement aux méthodes de fusion existantes comme Task Arithmetic, TIES et TSV-M. Sur huit benchmarks différents couvrant les domaines des mathématiques, de la programmation, de la finance et de la médecine, Pico améliore la précision moyenne de 3,4 à 8,3 points par rapport à la méthode de base correspondante et obtient les meilleures performances moyennes globales. Pico permet également aux adaptateurs fusionnés de surpasser le LoRA entraîné avec toutes les données des tâches. Ces résultats montrent que la fusion LoRA fonctionne mieux lorsque les deux matrices LoRA sont traitées séparément.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.