UniQL: Унифицированное квантование и низкоранговое сжатие для адаптивных краевых больших языковых моделей

Аннотация

Развертывание больших языковых моделей (LLM) на мобильных платформах сопряжено со значительными трудностями из-за ограниченного объема памяти и разделяемых вычислительных ресурсов устройства. Доступность ресурсов может быть проблемой, поскольку она напрямую зависит от текущей нагрузки на устройство, что увеличивает неопределенность развертывания модели. Мы представляем UniQL — унифицированную структуру послемодельного квантования и низкорангового сжатия с настраиваемой на устройстве степенью прунинга для пограничных LLM. UniQL — это общая структура, которая объединяет квантование и низкоранговое сжатие для трансформеров, моделей пространства состояний (SSM) и гибридных моделей для поддержки разнообразных пограничных приложений. В нашей совместной структуре мы представляем эффективный структурированный метод сортировки весов, который ускоряет вычисления в 20 раз, квантование-осознанное сингулярное разложение (SVD) для минимизации ошибок квантования, состояние-осознанную сортировку весов для SSM и объединенное ядро ротационного позиционного кодирования (RoPE) для моделей с прунингом. Наша структура выполняет сортировку весов, дообучение и квантование в облаке в рамках однопроходного рабочего процесса, обеспечивая при этом настраиваемую на устройстве степень прунинга до 35%. Наши эксперименты показывают, что квантованные и прореженные модели достигают сокращения памяти в 4–5,7 раза и улучшения пропускной способности по токенам в 2,7–3,4 раза, сохраняя точность в пределах 5% от исходных моделей при 15% прунинга для трансформеров (Llama3 и Qwen2.5), SSM (Mamba2) и гибридных моделей (Nemotron-H и Bamba-v2). Код и квантованные модели доступны по адресу: https://github.com/enyac-group/UniQL.

English

Deploying large language model (LLM) models on mobile platforms faces significant challenges due to the limited memory and shared computational resources of the device. Resource availability may be an issue as it is directly impacted by the current device workload, adding to the uncertainty of model deployment. We introduce UniQL, a unified post-training quantization and low-rank compression framework with on-device configurable pruning rates for edge LLMs. UniQL is a general framework that integrates quantization and low-rank compression for Transformers, State Space Models (SSMs), and hybrid models to support diverse edge applications. In our proposed joint framework, we introduce an efficient structured weight-sorting method that speeds up computation by 20x, quantization-aware singular value decomposition (SVD) to minimize quantization errors, state-aware weight sorting for SSMs, and a fused rotary positional embedding (RoPE) kernel for pruned models. Our framework performs weight-sorting, fine-tuning, and quantization in the cloud in a single-pass workflow, while enabling on-device configurable pruning rates up to 35%. Our experiments show that quantized and pruned models achieve a memory reduction of 4x-5.7x and a token-throughput improvement of 2.7x-3.4x, maintaining accuracy within 5% of the original models at 15% pruning across Transformers (Llama3 and Qwen2.5), SSMs (Mamba2), and hybrid models (Nemotron-H and Bamba-v2). The code and quantized models are available at: https://github.com/enyac-group/UniQL.

UniQL: Унифицированное квантование и низкоранговое сжатие для адаптивных краевых больших языковых моделей

UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs

Аннотация

Support