UniQL : Compression Unifiée par Quantification et Réduction de Rang pour des LLMs Adaptatifs en Environnement Edge

papers.abstract

Le déploiement de grands modèles de langage (LLM) sur les plates-formes mobiles rencontre des défis significatifs en raison de la mémoire limitée et des ressources computationnelles partagées de l'appareil. La disponibilité des ressources peut poser problème car elle est directement impactée par la charge de travail actuelle de l'appareil, ajoutant à l'incertitude du déploiement des modèles. Nous présentons UniQL, un cadre unifié de quantification après entraînement et de compression de faible rang avec des taux d'élagage configurables sur l'appareil pour les LLMs en périphérie. UniQL est un cadre général qui intègre la quantification et la compression de faible rang pour les Transformers, les modèles à espace d'états (SSM) et les modèles hybrides afin de prendre en charge diverses applications de périphérie. Dans notre cadre conjoint proposé, nous introduisons une méthode efficace de tri structurel des poids qui accélère les calculs par 20x, une décomposition en valeurs singulières (SVD) sensible à la quantification pour minimiser les erreurs de quantification, un tri des poids tenant compte de l'état pour les SSMs, et un noyau fusionné pour l'encodage positionnel rotatif (RoPE) dans les modèles élagués. Notre cadre effectue le tri des poids, le réglage fin et la quantification dans le cloud via un flux de travail en une seule passe, tout en permettant des taux d'élagage configurables sur l'appareil allant jusqu'à 35%. Nos expériences montrent que les modèles quantifiés et élagués atteignent une réduction de mémoire de 4x à 5.7x et une amélioration du débit de tokens de 2.7x à 3.4x, tout en maintenant une précision à moins de 5% des modèles originaux avec un élagage de 15% pour les Transformers (Llama3 et Qwen2.5), les SSMs (Mamba2) et les modèles hybrides (Nemotron-H et Bamba-v2). Le code et les modèles quantifiés sont disponibles à l'adresse : https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL : Compression Unifiée par Quantification et Réduction de Rang pour des LLMs Adaptatifs en Environnement Edge

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

papers.abstract

Support