Janus: 확장 가능한 MoE 추론을 위한 어텐션과 전문가 모듈의 분리

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

December 15, 2025

저자: Zhexiang Zhang, Ye Wang, Xiangyu Wang, Yumiao Zhao, Jingzhe Jiang, Qizhen Weng, Shaohuai Shi, Yin Chen, Minchen Yu

cs.AI

초록

대규모 전문가 혼합(MoE) 모델 추론은 높은 자원 요구량과 동적 워크로드로 인해 어려운 과제입니다. 기존 솔루션은 주로 모델 전체를 단일 모놀리식 단위로 배포하며, 서로 다른 요구 사항을 가진 어텐션 모듈과 전문가 모듈에 동일한 자원 구성을 적용하여 확장성과 자원 효율이 제한됩니다. 본 논문에서는 어텐션과 전문가를 별도의 GPU 서브 클러스터로 분리하여 각 모듈을 독립적으로 관리 및 확장 가능하게 하는 확장형 MoE 추론 시스템 Janus를 제안합니다. Janus는 효율적인 분리형 MoE 추론을 위해 세 가지 핵심 설계를 포함합니다. 첫째, 노드 내 및 노드 간 대역폭 계층 구조를 활용한 낮은 지연 데이터 교환을 위한 적응형 2단계 통신 방식을 제안합니다. 둘째, MoE 모듈의 메모리 제한적 특성에 기반하여 Janus는 경량 스케줄러를 도입하고 GPU 커널로 구현하여 최소 오버헤드로 GPU 간 활성화 전문가 수를 균형 있게 조정하여 추론 지연 시간을 단축합니다. 셋째, Janus는 세분화된 자원 관리를 수행하여 전문가 배치를 동적으로 조정하고 어텐션 및 MoE 자원을 독립적으로 확장하여 전반적인 효율성을 향상시킵니다. 평가 결과 Janus는 토큰 당 지연 시간 요구사항을 충족하면서 기존 최신 시스템 대비 GPU 당 처리량을 최대 3.9배까지 향상시켰습니다.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.