FeatCal: Feature-kalibratie voor post-fusiemodellen

Samenvatting

Model samenvoegen combineert taakexperts in één model en vermijdt gezamenlijke training, hertraining of het inzetten van meerdere expertmodellen, maar het samengevoegde model presteert vaak nog steeds minder goed dan de taakexperts. We bestuderen deze prestatiekloof via kenmerkdrift, het verschil tussen kenmerken geproduceerd door het samengevoegde model en door de expert op dezelfde invoer. Onze theorie ontleedt deze drift in stroomopwaartse propagatie en lokale mismatch, volgt hoe deze zich voortplant en combineert via latere lagen in voorwaartse volgorde, en koppelt uiteindelijke kenmerkdrift aan uitvoerdrift. Dit perspectief motiveert FeatCal, dat een kleine kalibratieset gebruikt om de gewichten van het samengevoegde model laag voor laag in voorwaartse volgorde te kalibreren, waardoor kenmerkdrift wordt verminderd terwijl het dicht bij de samengevoegde gewichten blijft en de voordelen van model samenvoegen behouden blijven. FeatCal gebruikt een efficiënte gesloten-vorm oplossing om modelgewichten bij te werken, zonder gradiëntafdaling, iteratieve optimalisatie of extra modules. Op de belangrijkste CLIP- en GLUE-benchmarks verslaat FeatCal Surgery en ProbSurgery, de dichtstbijzijnde post-fusie kalibratie-baselines: 85,5% vs. 77,0%/78,8% op CLIP-ViT-B/32 Task Arithmetic (TA) en 85,2% vs. 83,7%/82,2% op FLAN-T5-base GLUE. Op CLIP-ViT-B/32 bereiken 8 voorbeelden per taak 82,9%, en 256 voorbeelden per taak duren 53 seconden, ongeveer 4x sneller dan beide baselines, wat betere steekproefefficiëntie en lagere kalibratiekosten aantoont.

English

Model merging combines task experts into one model and avoids joint training, retraining, or deploying many expert models, but the merged model often still underperforms task experts. We study this performance gap through feature drift, the difference between features produced by the merged model and by the expert on the same input. Our theory decomposes this drift into upstream propagation and local mismatch, tracks how it propagates and combines through later layers in forward order, and links final feature drift to output drift. This view motivates FeatCal, which uses a small calibration set to calibrate the merged model weights layer by layer in forward order, reducing feature drift while staying close to merged weights and preserving the benefits of model merging. FeatCal uses an efficient closed-form solution to update model weights, with no gradient descent, iterative optimization, or extra modules. On the main CLIP and GLUE benchmarks, FeatCal beats Surgery and ProbSurgery, the closest post-merging calibration baselines: 85.5% vs. 77.0%/78.8% on CLIP-ViT-B/32 Task Arithmetic (TA) and 85.2% vs. 83.7%/82.2% on FLAN-T5-base GLUE. On CLIP-ViT-B/32, 8 examples per task reach 82.9%, and 256 examples per task take 53 seconds, about 4x faster than both baselines, showing better sample efficiency and lower calibration cost.