PowerInfer: Servicio Rápido de Modelos de Lenguaje de Gran Escala con una GPU de Grado Consumidor

PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

December 16, 2023

Autores: Yixin Song, Zeyu Mi, Haotong Xie, Haibo Chen

cs.AI

Resumen

Este artículo presenta PowerInfer, un motor de inferencia de alta velocidad para modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) en una computadora personal (PC) equipada con una única GPU de consumo. El principio clave detrás del diseño de PowerInfer es aprovechar la alta localidad inherente a la inferencia de LLM, caracterizada por una distribución de ley de potencia en la activación de neuronas. Esta distribución indica que un pequeño subconjunto de neuronas, denominadas neuronas calientes, se activan consistentemente en diferentes entradas, mientras que la mayoría, las neuronas frías, varían según las entradas específicas. PowerInfer aprovecha esta idea para diseñar un motor de inferencia híbrido GPU-CPU: las neuronas calientes se cargan previamente en la GPU para un acceso rápido, mientras que las neuronas frías se calculan en la CPU, reduciendo significativamente las demandas de memoria de la GPU y las transferencias de datos entre CPU y GPU. PowerInfer además integra predictores adaptativos y operadores dispersos conscientes de las neuronas, optimizando la eficiencia de la activación neuronal y la dispersión computacional. Las evaluaciones muestran que PowerInfer alcanza una tasa promedio de generación de tokens de 13.20 tokens/s, con un pico de 29.08 tokens/s, en varios LLM (incluyendo OPT-175B) en una única GPU NVIDIA RTX 4090, solo un 18% inferior a la alcanzada por una GPU de servidor de gama alta A100. Esto supera significativamente a llama.cpp hasta en 11.69x, manteniendo la precisión del modelo.

English

This paper introduces PowerInfer, a high-speed Large Language Model (LLM) inference engine on a personal computer (PC) equipped with a single consumer-grade GPU. The key underlying the design of PowerInfer is exploiting the high locality inherent in LLM inference, characterized by a power-law distribution in neuron activation. This distribution indicates that a small subset of neurons, termed hot neurons, are consistently activated across inputs, while the majority, cold neurons, vary based on specific inputs. PowerInfer exploits such an insight to design a GPU-CPU hybrid inference engine: hot-activated neurons are preloaded onto the GPU for fast access, while cold-activated neurons are computed on the CPU, thus significantly reducing GPU memory demands and CPU-GPU data transfers. PowerInfer further integrates adaptive predictors and neuron-aware sparse operators, optimizing the efficiency of neuron activation and computational sparsity. Evaluation shows that PowerInfer attains an average token generation rate of 13.20 tokens/s, with a peak of 29.08 tokens/s, across various LLMs (including OPT-175B) on a single NVIDIA RTX 4090 GPU, only 18% lower than that achieved by a top-tier server-grade A100 GPU. This significantly outperforms llama.cpp by up to 11.69x while retaining model accuracy.