DeepFlow: スケールでのサーバーレス大規模言語モデルの提供

要旨

本論文では、大規模言語モデル（LLM）を効率的にクラウド環境でスケーラブルに提供するために設計されたスケーラブルでサーバーレスなAIプラットフォームであるDeepFlowを紹介します。DeepFlowは、リソース割り当て、サービング効率、およびコールドスタートの待ち時間などの主要な課題に対処するために、4つの主要な設計コンポーネントを使用しています。まず、AIワークロードをポストトレーニングおよびモデルサービングタスク全体で管理するのに役立つ、シンプルなサーバーレス抽象化であるリクエスト-ジョブ-タスクモデルを使用しています。第二に、マイクロカーネルに着想を得た設計、NPU中心の実行、およびSPMDベースの並列処理を使用して、LLMのサービングを最適化するために、内部でサービングエンジンFlowServeを構築しています。システムには、PD-分離およびPD-共存構成の両方に適した新しいスケジューリングポリシーも含まれています。事前にウォームアップされたポッド、DRAMの事前読み込み、およびNPUフォークなどの最適化を行うことで、DeepFlowは数秒で64インスタンスまでスケーリングすることができます。DeepFlowは、Ascend NPUクラスタ上で運用され、お客様に対してファインチューニング、エージェントサービング、およびモデルサービングのための業界標準のAPIを提供しています。

English

This paper introduces DeepFlow, a scalable and serverless AI platform designed to efficiently serve large language models (LLMs) at scale in cloud environments. DeepFlow addresses key challenges such as resource allocation, serving efficiency, and cold start latencies through four main design components. First, it uses a simple serverless abstraction called the request-job-task model, which helps manage AI workloads across post-training and model serving tasks. Second, it builds an in-house serving engine FlowServe using a microkernel-inspired design, NPU-centric execution, and SPMD-based parallelism to optimize LLM serving. The system also includes novel scheduling policies tailored for both PD-disaggregated and PD-colocated configurations. With optimizations like pre-warmed pods, DRAM pre-loading, and NPU-fork, DeepFlow can scale up to 64 instances in seconds. DeepFlow has been in production for over a year, operating on a large Ascend NPU cluster and providing industrystandard APIs for fine-tuning, agent serving, and model serving to our customers.

DeepFlow: スケールでのサーバーレス大規模言語モデルの提供

DeepFlow: Serverless Large Language Model Serving at Scale

要旨

Summary

Support

Support