E-PMQ : Quantification post-fusion guidée par expert avec ancrage des poids fusionnés

Résumé

Les contraintes de déploiement à faible ressource ont rendu la quantification de modèles essentielle pour déployer des réseaux de neurones tout en préservant leurs performances. Parallèlement, la fusion de modèles est devenue une stratégie pratique de plus en plus courante pour intégrer plusieurs experts spécialisés par tâche ou par domaine en un seul modèle, sans nécessiter d’entraînement conjoint ni de service multi-modèle. Ensemble, la quantification et la fusion de modèles permettent une chaîne de déploiement efficace à faible ressource en intégrant plusieurs experts dans un modèle unique à faible précision. Nous formalisons ce cadre comme la Quantification Après Fusion (Post-Merge Quantization, PMQ). Nous montrons qu’appliquer directement la quantification post-entraînement (PTQ) à un modèle fusionné est peu fiable, car deux déviations distinctes sont couplées : la déviation de quantification introduite par la reconstruction en faible précision et la déviation relative aux experts héritée de la fusion de modèles. Pour atténuer ces déviations, nous proposons E-PMQ, un cadre PMQ guidé par les experts, qui utilise les poids des experts sources pour fournir des cibles de sortie guidées par les experts lors de la calibration par couche, ainsi qu’un ancrage des poids fusionnés pour stabiliser la calibration et préserver le comportement intégré du modèle fusionné. Sur la fusion huit tâches de CLIP-ViT-B/32, E-PMQ améliore GPTQ 4 bits de 65,0 % à 73,6 % sous Arithmetic des Tâches et de 69,1 % à 74,8 % sous TIES-Merging. Sur des configurations plus difficiles, E-PMQ améliore GPTQ de 34,8 % à 76,7 % sur CLIP-ViT-L/14 avec 20 tâches et de 78,26 % à 83,34 % sur FLAN-T5-base GLUE. Ces résultats démontrent qu’E-PMQ permet une quantification efficace après fusion et un déploiement à faible précision.

English

Low-resource deployment constraints have made model quantization essential for deploying neural networks while preserving performance. Meanwhile, model merging has become an increasingly practical low-resource strategy for integrating multiple task- or domain-specialized experts into a single model without joint training or multi-model serving. Together, quantization and model merging enable an efficient low-resource deployment pipeline by integrating multiple experts into one low-bit model. We formulate this setting as Post-Merge Quantization (PMQ). We show that directly applying post-training quantization (PTQ) to a merged model is unreliable because two distinct deviations are coupled: the quantization deviation introduced by low-bit reconstruction and the expert-relative merging deviation inherited from model merging. To mitigate these deviations, we propose E-PMQ, an expert-guided PMQ framework that uses source expert weights to provide expert- guided output targets during layer-wise calibration, together with merged-weight anchoring to stabilize the calibration and preserve the integrated behavior of the merged model. On CLIP-ViT-B/32 eight-task merging, E-PMQ improves 4-bit GPTQ from 65.0% to 73.6% under Task Arithmetic and from 69.1% to 74.8% under TIES-Merging. On harder settings, E-PMQ improves GPTQ from 34.8% to 76.7% on 20-task CLIP-ViT-L/14 and from 78.26% to 83.34% on FLAN-T5- base GLUE. These results demonstrate that E-PMQ enables effective post-merge quantization and low-bit deployment.