UniQL: Cuantificación Unificada y Compresión de Bajo Rango para LLMs Adaptativos en el Edge

Resumen

El despliegue de modelos de grandes lenguajes (LLM) en plataformas móviles enfrenta desafíos significativos debido a la memoria limitada y los recursos computacionales compartidos del dispositivo. La disponibilidad de recursos puede ser un problema, ya que se ve directamente afectada por la carga de trabajo actual del dispositivo, lo que añade incertidumbre al despliegue de modelos. Presentamos UniQL, un marco unificado de cuantización posterior al entrenamiento y compresión de bajo rango con tasas de poda configurables en el dispositivo para LLMs de edge. UniQL es un marco general que integra cuantización y compresión de bajo rango para Transformers, Modelos de Espacio de Estados (SSM) y modelos híbridos, para soportar diversas aplicaciones de edge. En nuestro marco conjunto propuesto, introducimos un método eficiente de clasificación estructural de pesos que acelera el cálculo en 20x, una descomposición en valores singulares (SVD) consciente de la cuantización para minimizar errores, una clasificación de pesos con conciencia del estado para SSMs, y un núcleo fusionado de incrustación posicional rotatoria (RoPE) para modelos podados. Nuestro marco realiza la clasificación de pesos, el ajuste fino y la cuantización en la nube en un flujo de trabajo de pasada única, permitiendo tasas de poda configurables en el dispositivo de hasta el 35%. Nuestros experimentos muestran que los modelos cuantizados y podados logran una reducción de memoria de 4x-5.7x y una mejora en el rendimiento de tokens de 2.7x-3.4x, manteniendo una precisión dentro del 5% de los modelos originales con una poda del 15% en Transformers (Llama3 y Qwen2.5), SSMs (Mamba2) y modelos híbridos (Nemotron-H y Bamba-v2). El código y los modelos cuantizados están disponibles en: https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL: Cuantificación Unificada y Compresión de Bajo Rango para LLMs Adaptativos en el Edge

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

Resumen

Support