PowerInfer: Schnelle Bereitstellung großer Sprachmodelle mit einer Consumer-GPU

PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

December 16, 2023

Autoren: Yixin Song, Zeyu Mi, Haotong Xie, Haibo Chen

cs.AI

Zusammenfassung

Dieses Papier stellt PowerInfer vor, einen Hochgeschwindigkeits-Inferenzmotor für Large Language Models (LLMs) auf einem Personal Computer (PC) mit einer einzigen Consumer-GPU. Der Kern des PowerInfer-Designs liegt in der Nutzung der hohen Lokalität, die der LLM-Inferenz innewohnt und durch eine Potenzgesetzverteilung in der Neuronaktivierung charakterisiert ist. Diese Verteilung zeigt, dass eine kleine Teilmenge von Neuronen, sogenannte heiße Neuronen, konsistent über verschiedene Eingaben hinweg aktiviert werden, während die Mehrheit, kalte Neuronen, abhängig von spezifischen Eingaben variieren. PowerInfer nutzt diese Erkenntnis, um einen GPU-CPU-Hybrid-Inferenzmotor zu entwerfen: heiß aktivierte Neuronen werden vorab auf die GPU geladen, um schnellen Zugriff zu ermöglichen, während kalt aktivierte Neuronen auf der CPU berechnet werden, wodurch der GPU-Speicherbedarf und die CPU-GPU-Datenübertragungen erheblich reduziert werden. PowerInfer integriert zudem adaptive Prädiktoren und neuronensensitive spärliche Operatoren, um die Effizienz der Neuronaktivierung und der rechnerischen Sparsamkeit zu optimieren. Die Evaluierung zeigt, dass PowerInfer eine durchschnittliche Token-Generierungsrate von 13,20 Token/s erreicht, mit einem Spitzenwert von 29,08 Token/s, über verschiedene LLMs (einschließlich OPT-175B) auf einer einzigen NVIDIA RTX 4090 GPU, was nur 18 % unter dem Wert liegt, der mit einer erstklassigen Server-GPU vom Typ A100 erreicht wird. Dies übertrifft llama.cpp um bis zu 11,69x, während die Modellgenauigkeit erhalten bleibt.

English

This paper introduces PowerInfer, a high-speed Large Language Model (LLM) inference engine on a personal computer (PC) equipped with a single consumer-grade GPU. The key underlying the design of PowerInfer is exploiting the high locality inherent in LLM inference, characterized by a power-law distribution in neuron activation. This distribution indicates that a small subset of neurons, termed hot neurons, are consistently activated across inputs, while the majority, cold neurons, vary based on specific inputs. PowerInfer exploits such an insight to design a GPU-CPU hybrid inference engine: hot-activated neurons are preloaded onto the GPU for fast access, while cold-activated neurons are computed on the CPU, thus significantly reducing GPU memory demands and CPU-GPU data transfers. PowerInfer further integrates adaptive predictors and neuron-aware sparse operators, optimizing the efficiency of neuron activation and computational sparsity. Evaluation shows that PowerInfer attains an average token generation rate of 13.20 tokens/s, with a peak of 29.08 tokens/s, across various LLMs (including OPT-175B) on a single NVIDIA RTX 4090 GPU, only 18% lower than that achieved by a top-tier server-grade A100 GPU. This significantly outperforms llama.cpp by up to 11.69x while retaining model accuracy.