Переполненность в B-пространстве: калибровка общих направлений для слияния LoRA
Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
April 18, 2026
Авторы: Yixuan Tang, Yi Yang
cs.AI
Аннотация
Объединение отдельно обученных адаптеров LoRA является практичной альтернативой совместному многозадачному обучению, но часто приводит к снижению производительности. Существующие методы обычно рассматривают обновление LoRA ΔW = BA как единый объект и не различают две матрицы LoRA. Мы показываем, что основной источник интерференции при слиянии LoRA исходит от выходной матрицы B. Для разных задач B многократно использует небольшой набор общих направлений, в то время как A остается гораздо более специфичной для задачи. В результате объединенный адаптер чрезмерно акцентирует эти общие направления, и информация, специфичная для задачи, теряется. Мы предлагаем Pico (калибровка интерференции перед слиянием в выходном пространстве) — беcданный метод, который калибрует B перед слиянием, уменьшая масштаб чрезмерно общих направлений, а затем перенастраивая масштаб объединенного обновления. Pico напрямую интегрируется в существующие методы слияния, такие как Task Arithmetic, TIES и TSV-M. На восьми различных тестовых наборах из областей математики, программирования, финансов и медицины Pico улучшает среднюю точность на 3.4–8.3 пункта по сравнению с соответствующим базовым методом и демонстрирует наилучшую общую среднюю производительность. Pico также позволяет объединенным адаптерам превзойти LoRA, обученную на всех данных задач. Эти результаты показывают, что слияние LoRA работает лучше, когда две матрицы LoRA рассматриваются отдельно.
English
Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update ΔW = BA as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix B. Across tasks, B repeatedly uses a small set of shared directions, while A remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates B before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.