UniQL: Geünificeerde Kwantisatie en Lage-rangcompressie voor Adaptieve Edge LLM's

Samenvatting

Het implementeren van grote-taalmodellen (LLM's) op mobiele platforms gaat gepaard met aanzienlijke uitdagingen vanwege het beperkte geheugen en de gedeelde rekenbronnen van het apparaat. De beschikbaarheid van resources kan een probleem vormen, omdat deze direct wordt beïnvloed door de huidige werklast van het apparaat, wat de onzekerheid van modelimplementatie vergroot. Wij introduceren UniQL, een uniform raamwerk voor post-training kwantisatie en lage-rangcompressie met configureerbare pruning-snelheden op het apparaat voor edge-LLM's. UniQL is een algemeen raamwerk dat kwantisatie en lage-rangcompressie integreert voor Transformers, State Space Models (SSM's) en hybride modellen om diverse edge-toepassingen te ondersteunen. In ons voorgestelde gezamenlijke raamwerk introduceren we een efficiënte gestructureerde gewichtsorteringsmethode die de reken snelheid 20x versnelt, kwantisatiebewuste singuliere-waardendecompositie (SVD) om kwantisatiefouten te minimaliseren, staatbewuste gewichtsortering voor SSM's, en een gefuseerde RoPE-kernel (rotary positional embedding) voor geprunede modellen. Ons raamwerk voert gewichtsortering, fine-tuning en kwantisatie in de cloud uit in een enkel workflowproces, terwijl het configureerbare pruning-snelheden tot 35% op het apparaat mogelijk maakt. Onze experimenten tonen aan dat gekwantiseerde en geprunede modellen een geheugenreductie van 4x-5,7x en een token-doorvoerverbetering van 2,7x-3,4x bereiken, waarbij de nauwkeurigheid binnen 5% van de originele modellen blijft bij 15% pruning voor Transformers (Llama3 en Qwen2.5), SSM's (Mamba2) en hybride modellen (Nemotron-H en Bamba-v2). De code en gekwantiseerde modellen zijn beschikbaar op: https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL: Geünificeerde Kwantisatie en Lage-rangcompressie voor Adaptieve Edge LLM's

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

Samenvatting

Support