Effiziente LLM-Inferenzlösung auf Intel-GPUs

Efficient LLM inference solution on Intel GPU

December 19, 2023

Autoren: Hui Wu, Yi Gan, Feng Yuan, Jing Ma, Wei Zhu, Yutao Xu, Hong Zhu, Yuhua Zhu, Xiaoli Liu, Jinghui Gu

cs.AI

Zusammenfassung

Transformer-basierte Large Language Models (LLMs) werden in vielen Bereichen weit verbreitet eingesetzt, und die Effizienz der LLM-Inferenz wird in realen Anwendungen zu einem zentralen Thema. Allerdings sind LLMs in der Modellstruktur meist komplex gestaltet, mit einer Vielzahl von Operationen, und führen die Inferenz im autoregressiven Modus durch, was die Entwicklung eines hocheffizienten Systems zu einer anspruchsvollen Aufgabe macht. In diesem Artikel präsentieren wir eine effiziente LLM-Inferenzlösung mit niedriger Latenz und hohem Durchsatz. Zunächst vereinfachen wir die LLM-Decoder-Schicht, indem wir Datenbewegungen und elementweise Operationen fusionieren, um die Speicherzugriffshäufigkeit zu reduzieren und die Systemlatenz zu verringern. Wir schlagen außerdem eine segmentierte KV-Cache-Strategie vor, bei der die Schlüssel/Werte der Anfrage- und Antwort-Tokens in separatem physischem Speicher gehalten werden, um das Gerätespeichermanagement effektiv zu gestalten. Dies ermöglicht eine Vergrößerung der Batch-Größe zur Laufzeit und verbessert den Systemdurchsatz. Ein speziell angepasster Scaled-Dot-Product-Attention-Kernel wurde entwickelt, um unserer Fusionsstrategie basierend auf der segmentierten KV-Cache-Lösung zu entsprechen. Wir implementieren unsere LLM-Inferenzlösung auf Intel-GPUs und veröffentlichen sie öffentlich. Im Vergleich zur Standardimplementierung von HuggingFace erreicht die vorgeschlagene Lösung bei einigen populären LLMs auf Intel-GPUs bis zu 7x niedrigere Token-Latenz und 27x höheren Durchsatz.

English

Transformer based Large Language Models (LLMs) have been widely used in many fields, and the efficiency of LLM inference becomes hot topic in real applications. However, LLMs are usually complicatedly designed in model structure with massive operations and perform inference in the auto-regressive mode, making it a challenging task to design a system with high efficiency. In this paper, we propose an efficient LLM inference solution with low latency and high throughput. Firstly, we simplify the LLM decoder layer by fusing data movement and element-wise operations to reduce the memory access frequency and lower system latency. We also propose a segment KV cache policy to keep key/value of the request and response tokens in separate physical memory for effective device memory management, helping enlarge the runtime batch size and improve system throughput. A customized Scaled-Dot-Product-Attention kernel is designed to match our fusion policy based on the segment KV cache solution. We implement our LLM inference solution on Intel GPU and publish it publicly. Compared with the standard HuggingFace implementation, the proposed solution achieves up to 7x lower token latency and 27x higher throughput for some popular LLMs on Intel GPU.