Оптимизация производительности вывода для больших языковых моделей на процессорах

Inference Performance Optimization for Large Language Models on CPUs

July 10, 2024

Авторы: Pujiang He, Shan Zhou, Wenhuan Huang, Changqing Li, Duyi Wang, Bin Guo, Chen Meng, Sheng Gui, Weifei Yu, Yi Xie

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали исключительную производительность и огромный потенциал в различных задачах. Однако развертывание LLM с высокой производительностью в условиях ограниченных ресурсов привлекло значительное внимание в индустрии. Когда ресурсы аппаратного обеспечения GPU ограничены, мы можем исследовать альтернативные варианты на ЦП. Для смягчения финансовой нагрузки и устранения ограничений, накладываемых ресурсами аппаратного обеспечения, оптимизация производительности вывода необходима. В данной статье мы представляем легкоразвертываемое решение оптимизации производительности вывода, направленное на ускорение LLM на ЦП. В этом решении мы реализуем эффективный способ уменьшения размера кэша KV, обеспечивая при этом точность. Мы предлагаем распределенный подход к оптимизации вывода и реализуем его на основе библиотеки коллективных коммуникаций oneAPI. Кроме того, мы предлагаем подходы к оптимизации для LLM на ЦП и проводим индивидуальные оптимизации для наиболее часто используемых моделей. Код доступен в открытом доступе по ссылке https://github.com/intel/xFasterTransformer.

English

Large language models (LLMs) have shown exceptional performance and vast potential across diverse tasks. However, the deployment of LLMs with high performance in low-resource environments has garnered significant attention in the industry. When GPU hardware resources are limited, we can explore alternative options on CPUs. To mitigate the financial burden and alleviate constraints imposed by hardware resources, optimizing inference performance is necessary. In this paper, we introduce an easily deployable inference performance optimization solution aimed at accelerating LLMs on CPUs. In this solution, we implement an effective way to reduce the KV cache size while ensuring precision. We propose a distributed inference optimization approach and implement it based on oneAPI Collective Communications Library. Furthermore, we propose optimization approaches for LLMs on CPU, and conduct tailored optimizations for the most commonly used models. The code is open-sourced at https://github.com/intel/xFasterTransformer.