E-PMQ: Expert-gestuurde kwantisatie na samenvoeging met verankering van samengevoegde gewichten

Samenvatting

Middelenarme implementatiebeperkingen hebben modelkwantisering essentieel gemaakt voor het implementeren van neurale netwerken met behoud van prestaties. Tegelijkertijd is modelsamenvoeging een steeds praktischere middelenarme strategie geworden om meerdere taak- of domeinspecialistische experts te integreren in één model zonder gezamenlijke training of bediening van meerdere modellen. Samen maken kwantisering en modelsamenvoeging een efficiënte middelenarme implementatiepijplijn mogelijk door meerdere experts te integreren in één laag-bitmodel. We formuleren deze setting als Post-Merge Kwantisering (PMK). We laten zien dat het direct toepassen van post-trainingkwantisering (PTK) op een samengevoegd model onbetrouwbaar is omdat twee verschillende afwijkingen worden gekoppeld: de kwantiseringsafwijking geïntroduceerd door laag-bitreconstructie en de expert-gerelateerde samenvoegingsafwijking geërfd van modelsamenvoeging. Om deze afwijkingen te beperken, stellen we E-PMK voor, een expert-gestuurd PMK-raamwerk dat bron-expertgewichten gebruikt om expert-gestuurde outputdoelen te leveren tijdens laagsgewijse kalibratie, samen met verankering van samengevoegde gewichten om de kalibratie te stabiliseren en het geïntegreerde gedrag van het samengevoegde model te behouden. Op CLIP-ViT-B/32 met acht taken samenvoeging verbetert E-PMK 4-bit GPTQ van 65,0% naar 73,6% onder Task Arithmetic en van 69,1% naar 74,8% onder TIES-Merging. Bij moeilijkere instellingen verbetert E-PMK GPTQ van 34,8% naar 76,7% op 20-taak CLIP-ViT-L/14 en van 78,26% naar 83,34% op FLAN-T5-base GLUE. Deze resultaten tonen aan dat E-PMK effectieve post-samenvoegingskwantisering en laag-bitimplementatie mogelijk maakt.

English

Low-resource deployment constraints have made model quantization essential for deploying neural networks while preserving performance. Meanwhile, model merging has become an increasingly practical low-resource strategy for integrating multiple task- or domain-specialized experts into a single model without joint training or multi-model serving. Together, quantization and model merging enable an efficient low-resource deployment pipeline by integrating multiple experts into one low-bit model. We formulate this setting as Post-Merge Quantization (PMQ). We show that directly applying post-training quantization (PTQ) to a merged model is unreliable because two distinct deviations are coupled: the quantization deviation introduced by low-bit reconstruction and the expert-relative merging deviation inherited from model merging. To mitigate these deviations, we propose E-PMQ, an expert-guided PMQ framework that uses source expert weights to provide expert- guided output targets during layer-wise calibration, together with merged-weight anchoring to stabilize the calibration and preserve the integrated behavior of the merged model. On CLIP-ViT-B/32 eight-task merging, E-PMQ improves 4-bit GPTQ from 65.0% to 73.6% under Task Arithmetic and from 69.1% to 74.8% under TIES-Merging. On harder settings, E-PMQ improves GPTQ from 34.8% to 76.7% on 20-task CLIP-ViT-L/14 and from 78.26% to 83.34% on FLAN-T5- base GLUE. These results demonstrate that E-PMQ enables effective post-merge quantization and low-bit deployment.