DeepFlow: Обслуживание крупномасштабных языковых моделей без сервера

DeepFlow: Serverless Large Language Model Serving at Scale

January 24, 2025

Авторы: Junhao Hu, Jiang Xu, Zhixia Liu, Yulong He, Yuetao Chen, Hao Xu, Jiang Liu, Baoquan Zhang, Shining Wan, Gengyuan Dan, Zhiyu Dong, Zhihao Ren, Jie Meng, Chao He, Changhong Liu, Tao Xie, Dayun Lin, Qin Zhang, Yue Yu, Hao Feng, Xusheng Chen, Yizhou Shan

cs.AI

Аннотация

Эта статья представляет DeepFlow, масштабируемую и серверлесс платформу искусственного интеллекта, разработанную для эффективного обслуживания больших языковых моделей (LLM) в облаке. DeepFlow решает ключевые проблемы, такие как выделение ресурсов, эффективность обслуживания и задержки при запуске через четыре основных компонента дизайна. Во-первых, он использует простую абстракцию серверлесс под названием модель запрос-работа-задача, которая помогает управлять рабочими нагрузками искусственного интеллекта в задачах после обучения и обслуживания модели. Во-вторых, он создает собственный сервисный движок FlowServe, используя дизайн, вдохновленный микроядром, выполнение, ориентированное на NPU, и параллелизм на основе SPMD для оптимизации обслуживания LLM. Система также включает новые политики планирования, настроенные как для конфигураций с PD-разделением, так и для PD-колокации. Благодаря оптимизациям, таким как предварительное прогревание подов, предварительная загрузка DRAM и NPU-разветвление, DeepFlow может масштабироваться до 64 экземпляров за секунды. DeepFlow находится в производстве уже более года, работая на большом кластере Ascend NPU и предоставляя стандартные API для настройки, обслуживания агентов и обслуживания моделей нашим клиентам.

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.