B-空間における混雑：LoRAマージのための共有方向の較正

Crowded in B-Space: Calibrating Shared Directions for LoRA Merging

April 18, 2026

著者: Yixuan Tang, Yi Yang

cs.AI

要旨

個別に学習されたLoRAアダプタの統合は、複数タスクの共同学習に代わる実用的な手法であるが、性能低下を招くことが多い。既存手法では、LoRAの更新量ΔW = BAを単一のオブジェクトとして扱い、2つのLoRA行列を区別しない。本論文では、LoRA統合時の干渉の主な原因が出力側行列Bにあることを明らかにする。異なるタスク間でBは少数の共通方向を反復利用する一方、Aははるかにタスク特異的である。その結果、統合後のアダプタはこれらの共通方向を過度に強調し、タスク特異的な情報が失われる。我々はPico（出力空間における統合前干渉補正）を提案する。これはデータを必要としない手法で、統合前にBの過剰共有方向を減衰させ、統合後の更新量を再スケーリングする。PicoはTask Arithmetic、TIES、TSV-Mなどの既存統合手法に直接組み込める。数学、コーディング、金融、医療分野の8つのベンチマークで、Picoは対応する基本手法より平均精度を3.4～8.3ポイント向上させ、最高の総合平均性能を達成した。またPicoにより、全タスクデータで学習したLoRAを統合アダプタが上回ることも可能となった。これらの結果は、2つのLoRA行列を別々に扱うことで統合が効果的に機能することを示唆する。

English

Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.