Optimisation des performances d'inférence pour les grands modèles de langage sur les processeurs

Inference Performance Optimization for Large Language Models on CPUs

July 10, 2024

Auteurs: Pujiang He, Shan Zhou, Wenhuan Huang, Changqing Li, Duyi Wang, Bin Guo, Chen Meng, Sheng Gui, Weifei Yu, Yi Xie

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des performances exceptionnelles et un potentiel considérable dans diverses tâches. Cependant, le déploiement de LLMs à haute performance dans des environnements à ressources limitées a suscité une attention significative dans l'industrie. Lorsque les ressources matérielles en GPU sont limitées, nous pouvons explorer des alternatives sur les CPU. Pour atténuer le fardeau financier et réduire les contraintes imposées par les ressources matérielles, il est nécessaire d'optimiser les performances d'inférence. Dans cet article, nous présentons une solution d'optimisation des performances d'inférence facilement déployable, visant à accélérer les LLMs sur les CPU. Dans cette solution, nous mettons en œuvre une méthode efficace pour réduire la taille du cache KV tout en garantissant la précision. Nous proposons une approche d'optimisation de l'inférence distribuée et l'implémentons en nous basant sur la bibliothèque de communications collectives oneAPI. De plus, nous proposons des approches d'optimisation pour les LLMs sur CPU et réalisons des optimisations spécifiques pour les modèles les plus couramment utilisés. Le code est open-source à l'adresse https://github.com/intel/xFasterTransformer.

English

Large language models (LLMs) have shown exceptional performance and vast potential across diverse tasks. However, the deployment of LLMs with high performance in low-resource environments has garnered significant attention in the industry. When GPU hardware resources are limited, we can explore alternative options on CPUs. To mitigate the financial burden and alleviate constraints imposed by hardware resources, optimizing inference performance is necessary. In this paper, we introduce an easily deployable inference performance optimization solution aimed at accelerating LLMs on CPUs. In this solution, we implement an effective way to reduce the KV cache size while ensuring precision. We propose a distributed inference optimization approach and implement it based on oneAPI Collective Communications Library. Furthermore, we propose optimization approaches for LLMs on CPU, and conduct tailored optimizations for the most commonly used models. The code is open-sourced at https://github.com/intel/xFasterTransformer.