Transformer-Lite: Hochleistungs-Bereitstellung großer Sprachmodelle auf Mobiltelefon-GPUs

Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs

March 29, 2024

Autoren: Luchang Li, Sheng Qian, Jie Lu, Lunxi Yuan, Rui Wang, Qin Xie

cs.AI

Zusammenfassung

Das Large Language Model (LLM) wird weit verbreitet für Aufgaben wie intelligente Assistenten, Textzusammenfassung, Übersetzung und Multimodalität auf Mobiltelefonen eingesetzt. Allerdings weisen die aktuellen Methoden für die Bereitstellung von LLM auf Geräten eine langsame Inferenzgeschwindigkeit auf, was zu einer schlechten Benutzererfahrung führt. Um eine hocheffiziente Bereitstellung von LLM auf Geräte-GPUs zu ermöglichen, schlagen wir vier Optimierungstechniken vor: (a) einen auf symbolischen Ausdrücken basierenden Ansatz zur Unterstützung der Inferenz von Modellen mit dynamischer Form; (b) Optimierungen von Operatoren und Einstellung der Ausführungspriorität zur Verbesserung der Inferenzgeschwindigkeit und Reduzierung von Verzögerungen auf dem Telefon; (c) eine FP4-Quantisierungsmethode namens M0E4 zur Reduzierung des Overheads für die Dezimalquantisierung; (d) eine auf Subtensoren basierende Technik, um die Notwendigkeit des Kopierens des KV-Caches nach der LLM-Inferenz zu beseitigen. Darüber hinaus implementieren wir diese Methoden in unserem mobilen Inferenzmotor, Transformer-Lite, der mit Prozessoren von Qualcomm und MTK kompatibel ist. Wir haben die Leistung von Transformer-Lite anhand von LLMs mit unterschiedlichen Architekturen und Parametern von 2B bis 14B bewertet. Insbesondere haben wir Vorabfüll- und Decodierungsgeschwindigkeiten von 121 Token/s bzw. 14 Token/s für ChatGLM2 6B und 330 Token/s bzw. 30 Token/s für das kleinere Gemma 2B erreicht. Im Vergleich zu CPU-basierten FastLLM und GPU-basierten MLC-LLM erreicht unser Motor eine über 10-fache Beschleunigung für die Vorabfüllgeschwindigkeit und eine 2- bis 3-fache Beschleunigung für die Decodierungsgeschwindigkeit.

English

The Large Language Model (LLM) is widely employed for tasks such as intelligent assistants, text summarization, translation, and multi-modality on mobile phones. However, the current methods for on-device LLM deployment maintain slow inference speed, which causes poor user experience. To facilitate high-efficiency LLM deployment on device GPUs, we propose four optimization techniques: (a) a symbolic expression-based approach to support dynamic shape model inference; (b) operator optimizations and execution priority setting to enhance inference speed and reduce phone lagging; (c) an FP4 quantization method termed M0E4 to reduce dequantization overhead; (d) a sub-tensor-based technique to eliminate the need for copying KV cache after LLM inference. Furthermore, we implement these methods in our mobile inference engine, Transformer-Lite, which is compatible with both Qualcomm and MTK processors. We evaluated Transformer-Lite's performance using LLMs with varied architectures and parameters ranging from 2B to 14B. Specifically, we achieved prefill and decoding speeds of 121 token/s and 14 token/s for ChatGLM2 6B, and 330 token/s and 30 token/s for smaller Gemma 2B, respectively. Compared with CPU-based FastLLM and GPU-based MLC-LLM, our engine attains over 10x speedup for the prefill speed and 2~3x speedup for the decoding speed.