E-PMQ: Cuantificación Posterior a la Fusión Guiada por Experto con Anclaje de Pesos Fusionados

Resumen

Las restricciones de despliegue con recursos limitados han hecho que la cuantización de modelos sea esencial para desplegar redes neuronales mientras se mantiene el rendimiento. Por otro lado, la fusión de modelos se ha convertido en una estrategia práctica de bajos recursos para integrar múltiples expertos especializados en tareas o dominios en un solo modelo sin necesidad de entrenamiento conjunto ni servicio de múltiples modelos. En conjunto, la cuantización y la fusión de modelos permiten un flujo de despliegue eficiente con recursos limitados al integrar varios expertos en un modelo de baja precisión. Formulamos este escenario como Cuantización Posterior a la Fusión (PMQ, por sus siglas en inglés). Demostramos que aplicar directamente la cuantización posterior al entrenamiento (PTQ) a un modelo fusionado no es fiable porque se acoplan dos desviaciones distintas: la desviación de cuantización introducida por la reconstrucción de baja precisión y la desviación de fusión relativa a los expertos heredada de la fusión de modelos. Para mitigar estas desviaciones, proponemos E-PMQ, un marco PMQ guiado por expertos que utiliza los pesos de los expertos fuente para proporcionar objetivos de salida guiados por expertos durante la calibración por capas, junto con el anclaje de pesos fusionados para estabilizar la calibración y preservar el comportamiento integrado del modelo fusionado. En la fusión de ocho tareas con CLIP-ViT-B/32, E-PMQ mejora GPTQ de 4 bits del 65,0% al 73,6% bajo Task Arithmetic y del 69,1% al 74,8% bajo TIES-Merging. En configuraciones más exigentes, E-PMQ mejora GPTQ del 34,8% al 76,7% en CLIP-ViT-L/14 con 20 tareas y del 78,26% al 83,34% en FLAN-T5-base GLUE. Estos resultados demuestran que E-PMQ permite una cuantización posterior a la fusión efectiva y un despliegue de baja precisión.

English

Low-resource deployment constraints have made model quantization essential for deploying neural networks while preserving performance. Meanwhile, model merging has become an increasingly practical low-resource strategy for integrating multiple task- or domain-specialized experts into a single model without joint training or multi-model serving. Together, quantization and model merging enable an efficient low-resource deployment pipeline by integrating multiple experts into one low-bit model. We formulate this setting as Post-Merge Quantization (PMQ). We show that directly applying post-training quantization (PTQ) to a merged model is unreliable because two distinct deviations are coupled: the quantization deviation introduced by low-bit reconstruction and the expert-relative merging deviation inherited from model merging. To mitigate these deviations, we propose E-PMQ, an expert-guided PMQ framework that uses source expert weights to provide expert- guided output targets during layer-wise calibration, together with merged-weight anchoring to stabilize the calibration and preserve the integrated behavior of the merged model. On CLIP-ViT-B/32 eight-task merging, E-PMQ improves 4-bit GPTQ from 65.0% to 73.6% under Task Arithmetic and from 69.1% to 74.8% under TIES-Merging. On harder settings, E-PMQ improves GPTQ from 34.8% to 76.7% on 20-task CLIP-ViT-L/14 and from 78.26% to 83.34% on FLAN-T5- base GLUE. These results demonstrate that E-PMQ enables effective post-merge quantization and low-bit deployment.