UniQL: Quantizzazione Unificata e Compressione a Basso Rango per LLM Adattivi su Dispositivi Edge

Abstract

La distribuzione di modelli di grandi linguaggi (LLM) su piattaforme mobili affronta sfide significative a causa della memoria limitata e delle risorse computazionali condivise del dispositivo. La disponibilità delle risorse può rappresentare un problema poiché è direttamente influenzata dal carico di lavoro corrente del dispositivo, aumentando l'incertezza nella distribuzione del modello. Presentiamo UniQL, un framework unificato di quantizzazione post-addestramento e compressione low-rank con tassi di pruning configurabili sul dispositivo per LLM edge. UniQL è un framework generale che integra quantizzazione e compressione low-rank per Transformer, State Space Model (SSM) e modelli ibridi per supportare diverse applicazioni edge. Nel nostro framework congiunto proposto, introduciamo un efficiente metodo strutturato di ordinamento dei pesi che accelera il calcolo di 20 volte, una decomposizione ai valori singolari (SVD) quantization-aware per minimizzare gli errori di quantizzazione, un ordinamento dei pesi state-aware per SSM e un kernel fused per l'embedding posizionale rotazionale (RoPE) per modelli potati. Il nostro framework esegue l'ordinamento dei pesi, il fine-tuning e la quantizzazione nel cloud in un flusso di lavoro single-pass, consentendo al contempo tassi di pruning configurabili sul dispositivo fino al 35%. I nostri esperimenti mostrano che i modelli quantizzati e potati raggiungono una riduzione della memoria di 4x-5.7x e un miglioramento della token-throughput di 2.7x-3.4x, mantenendo un'accuratezza entro il 5% dei modelli originali con un pruning del 15% su Transformer (Llama3 e Qwen2.5), SSM (Mamba2) e modelli ibridi (Nemotron-H e Bamba-v2). Il codice e i modelli quantizzati sono disponibili all'indirizzo: https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL: Quantizzazione Unificata e Compressione a Basso Rango per LLM Adattivi su Dispositivi Edge

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

Abstract

Support