Janus: スケーラブルなMoE推論のための注意機構と専門家の分離

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

December 15, 2025

著者: Zhexiang Zhang, Ye Wang, Xiangyu Wang, Yumiao Zhao, Jingzhe Jiang, Qizhen Weng, Shaohuai Shi, Yin Chen, Minchen Yu

cs.AI

要旨

大規模な混合専門家（MoE）モデルの推論は、高いリソース要求と動的なワークロードにより困難が伴う。既存のソリューションでは、モデル全体を単一のモノリシック単位としてデプロイすることが多く、Attentionと専門家モジュールという異なる要求を持つ構成要素に統一的なリソース設定を適用するため、拡張性が制限され、リソース効率も低下する。本論文では、Attentionと専門家を別々のGPUサブクラスタに分離し、各モジュールを独立して管理・スケーリング可能にする、スケーラブルなMoE推論システムJanusを提案する。Janusは、効率的な分散型MoE推論を実現するため、3つの主要な設計を組み込んでいる。第一に、ノード内およびノード間の帯域階層を活用した低遅延データ交換のための適応的二段階通信方式を提案する。第二に、MoEモジュールがメモリ律速であることに着目し、軽量スケジューラをGPUカーネルとして実装し、最小限のオーバーヘッドでGPU間の活性化専門家数のバランスを調整することで推論遅延を削減する。第三に、細粒度なリソース管理により専門家の配置を動的に調整し、AttentionとMoEリソースを独立してスケーリングすることで全体効率を向上させる。評価結果では、Janusがトークン単位の遅延要件を満たしつつ、既存の最先端システムと比較してGPUあたりのスループットを最大3.9倍向上させることを示す。

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.