Optimierung der Inferenzleistung für große Sprachmodelle auf CPUs

Inference Performance Optimization for Large Language Models on CPUs

July 10, 2024

Autoren: Pujiang He, Shan Zhou, Wenhuan Huang, Changqing Li, Duyi Wang, Bin Guo, Chen Meng, Sheng Gui, Weifei Yu, Yi Xie

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine außergewöhnliche Leistung und ein enormes Potenzial in verschiedenen Aufgabenbereichen gezeigt. Die Bereitstellung von LLMs mit hoher Leistung in Umgebungen mit begrenzten Ressourcen hat jedoch in der Industrie erhebliche Aufmerksamkeit erregt. Wenn die GPU-Hardwareressourcen begrenzt sind, können alternative Optionen auf CPUs erkundet werden. Um die finanzielle Belastung zu verringern und Einschränkungen durch Hardwareressourcen zu mildern, ist die Optimierung der Inferenzleistung erforderlich. In diesem Artikel stellen wir eine leicht implementierbare Lösung zur Optimierung der Inferenzleistung vor, die darauf abzielt, LLMs auf CPUs zu beschleunigen. In dieser Lösung implementieren wir einen effektiven Weg zur Reduzierung der KV-Cache-Größe unter Beibehaltung der Präzision. Wir schlagen einen verteilten Ansatz zur Inferenzoptimierung vor und setzen ihn auf der oneAPI Collective Communications Library um. Darüber hinaus schlagen wir Optimierungsansätze für LLMs auf der CPU vor und führen maßgeschneiderte Optimierungen für die am häufigsten verwendeten Modelle durch. Der Code ist unter https://github.com/intel/xFasterTransformer als Open Source verfügbar.

English

Large language models (LLMs) have shown exceptional performance and vast potential across diverse tasks. However, the deployment of LLMs with high performance in low-resource environments has garnered significant attention in the industry. When GPU hardware resources are limited, we can explore alternative options on CPUs. To mitigate the financial burden and alleviate constraints imposed by hardware resources, optimizing inference performance is necessary. In this paper, we introduce an easily deployable inference performance optimization solution aimed at accelerating LLMs on CPUs. In this solution, we implement an effective way to reduce the KV cache size while ensuring precision. We propose a distributed inference optimization approach and implement it based on oneAPI Collective Communications Library. Furthermore, we propose optimization approaches for LLMs on CPU, and conduct tailored optimizations for the most commonly used models. The code is open-sourced at https://github.com/intel/xFasterTransformer.