PowerInfer: Snelle Large Language Model-diensten met een consumenten-GPU

PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

December 16, 2023

Auteurs: Yixin Song, Zeyu Mi, Haotong Xie, Haibo Chen

cs.AI

Samenvatting

Dit artikel introduceert PowerInfer, een high-speed inference-engine voor Large Language Models (LLM) op een personal computer (PC) uitgerust met een enkele consumenten-GPU. De kern van het ontwerp van PowerInfer ligt in het benutten van de hoge localiteit die inherent is aan LLM-inference, gekenmerkt door een power-lawverdeling in neuronactivatie. Deze verdeling geeft aan dat een kleine subset van neuronen, aangeduid als hot neurons, consistent geactiveerd worden over verschillende inputs, terwijl de meerderheid, cold neurons, varieert op basis van specifieke inputs. PowerInfer maakt gebruik van dit inzicht om een GPU-CPU hybride inference-engine te ontwerpen: hot-activated neuronen worden vooraf geladen op de GPU voor snelle toegang, terwijl cold-activated neuronen op de CPU worden berekend, waardoor de GPU-geheugenbehoefte en CPU-GPU dataoverdrachten aanzienlijk worden verminderd. PowerInfer integreert verder adaptieve voorspellers en neuron-aware sparse operators, wat de efficiëntie van neuronactivatie en computationele sparsity optimaliseert. Evaluatie toont aan dat PowerInfer een gemiddelde token-generatiesnelheid van 13,20 tokens/s bereikt, met een piek van 29,08 tokens/s, over verschillende LLM's (inclusief OPT-175B) op een enkele NVIDIA RTX 4090 GPU, slechts 18% lager dan wat bereikt wordt door een top-tier server-grade A100 GPU. Dit overtreft llama.cpp aanzienlijk met een factor tot 11,69x, terwijl de modelnauwkeurigheid behouden blijft.

English

This paper introduces PowerInfer, a high-speed Large Language Model (LLM) inference engine on a personal computer (PC) equipped with a single consumer-grade GPU. The key underlying the design of PowerInfer is exploiting the high locality inherent in LLM inference, characterized by a power-law distribution in neuron activation. This distribution indicates that a small subset of neurons, termed hot neurons, are consistently activated across inputs, while the majority, cold neurons, vary based on specific inputs. PowerInfer exploits such an insight to design a GPU-CPU hybrid inference engine: hot-activated neurons are preloaded onto the GPU for fast access, while cold-activated neurons are computed on the CPU, thus significantly reducing GPU memory demands and CPU-GPU data transfers. PowerInfer further integrates adaptive predictors and neuron-aware sparse operators, optimizing the efficiency of neuron activation and computational sparsity. Evaluation shows that PowerInfer attains an average token generation rate of 13.20 tokens/s, with a peak of 29.08 tokens/s, across various LLMs (including OPT-175B) on a single NVIDIA RTX 4090 GPU, only 18% lower than that achieved by a top-tier server-grade A100 GPU. This significantly outperforms llama.cpp by up to 11.69x while retaining model accuracy.