Modelmerging met Functionele Duale Ankers
Model Merging with Functional Dual Anchors
October 24, 2025
Auteurs: Kexuan Shi, Yandong Wen, Weiyang Liu
cs.AI
Samenvatting
Model merging is een efficiënte post-trainingstrategie om kennis te integreren vanuit meerdere gefinetunede checkpoints van een gedeeld foundationmodel. Bestaande methoden opereren in de parameterspace, waarbij taskvectoren worden gecombineerd om conflicten te mitigeren, maar blijven beperkt door parameterinconsistenties. Wij stellen Functionele Duale Ankers (FDA's) voor, een framework dat in plaats daarvan de input-representatieruimte modelleert. FDA's zijn synthetische inputs waarvan de geïnduceerde gradienten uitlijnen met taskvectoren, waardoor taskspecifieke functionele verschuivingen ten opzichte van het voorgetrainde model worden vastgelegd. Dit perspectief overbrugt gezamenlijke multi-task training en post-hoc merging, en biedt zowel robuustheid als flexibiliteit. We introduceren verder een principieel initialisatieschema en tonen aan dat FDA's complementair zijn aan model merging in de parameterspace. Uitgebreide experimenten demonstreren de effectiviteit van FDA's bij model merging.
English
Model merging is an efficient post-training strategy for integrating
knowledge from multiple finetuned checkpoints of a shared foundation model.
Existing methods operate in the parameter space, combining task vectors to
mitigate conflicts, but remain constrained by parameter inconsistencies. We
propose Functional Dual Anchors (FDAs), a framework that instead models the
input-representation space. FDAs are synthetic inputs whose induced gradients
align with task vectors, capturing task-specific functional shifts relative to
the pretrained model. This perspective bridges joint multi-task training and
post-hoc merging, offering both robustness and flexibility. We further
introduce a principled initialization scheme and show that FDAs are
complementary to parameter-space model merging. Comprehensive experiments
demonstrate the effectiveness of FDAs in model merging.