UniQL: Vereinheitlichte Quantisierung und Niedrigrang-Kompression für adaptive Edge-LLMs

papers.abstract

Die Bereitstellung großer Sprachmodelle (LLM) auf mobilen Plattformen steht vor erheblichen Herausforderungen aufgrund des begrenzten Speichers und der gemeinsam genutzten Rechenressourcen der Geräte. Die Ressourcenverfügbarkeit kann problematisch sein, da sie direkt von der aktuellen Geräteauslastung beeinflusst wird, was die Unsicherheit bei der Modellbereitstellung erhöht. Wir stellen UniQL vor, ein einheitliches Framework für Nachtrainingsquantisierung und Low-Rank-Kompression mit konfigurierbaren Pruning-Raten auf dem Gerät für Edge-LLMs. UniQL ist ein allgemeines Framework, das Quantisierung und Low-Rank-Kompression für Transformer, State Space Models (SSMs) und hybride Modelle integriert, um verschiedene Edge-Anwendungen zu unterstützen. In unserem vorgeschlagenen gemeinsamen Framework führen wir eine effiziente strukturierte Gewichtssortierungsmethode ein, die die Berechnung um das 20-fache beschleunigt, quantisierungsbewusste Singulärwertzerlegung (SVD) zur Minimierung von Quantisierungsfehlern, zustandsbewusste Gewichtssortierung für SSMs und einen fusionierten Rotary Positional Embedding (RoPE)-Kernel für geprunte Modelle. Unser Framework führt Gewichtssortierung, Feinabstimmung und Quantisierung in der Cloud in einem Single-Pass-Workflow durch, ermöglicht aber gleichzeitig konfigurierbare Pruning-Raten von bis zu 35 % auf dem Gerät. Unsere Experimente zeigen, dass quantisierte und geprunte Modelle eine Speicherreduzierung um das 4- bis 5,7-fache und eine Token-Throughput-Verbesserung um das 2,7- bis 3,4-fache erreichen, wobei die Genauigkeit innerhalb von 5 % der Originalmodelle bei 15 % Pruning über Transformer (Llama3 und Qwen2.5), SSMs (Mamba2) und hybride Modelle (Nemotron-H und Bamba-v2) hinweg erhalten bleibt. Der Code und die quantisierten Modelle sind verfügbar unter: https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL: Vereinheitlichte Quantisierung und Niedrigrang-Kompression für adaptive Edge-LLMs

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

papers.abstract

Support