Janus: Trennung von Attention und Experten für skalierbare MoE-Inferenz

papers.abstract

Die Inferenz großer Mixture-of-Experts (MoE)-Modelle stellt aufgrund hoher Ressourcenanforderungen und dynamischer Workloads eine Herausforderung dar. Bestehende Lösungen stellen das gesamte Modell oft als einzelne monolithische Einheit bereit, die eine einheitliche Ressourcenkonfiguration für sowohl Attention- als auch Expert-Module anwendet – trotz deren unterschiedlicher Anforderungen – was zu begrenzter Skalierbarkeit und Ressourcenineffizienz führt. In diesem Artikel stellen wir Janus vor, ein skalierbares MoE-Inferenzsystem, das Attention und Experts auf separaten GPU-Sub-Clustern entkoppelt, wodurch jedes Modul unabhängig verwaltet und skaliert werden kann. Janus integriert drei Schlüsseldesigns für eine effiziente, entkoppelte MoE-Inferenz. Erstens schlägt es ein adaptives Zwei-Phasen-Kommunikationsschema vor, das Intra- und Inter-Node-Bandbreitenhierarchien für latenzarme Datenaustausche nutzt. Zweitens führt Janus, motiviert durch den speichergebundenen Charakter von MoE-Modulen, einen leichtgewichtigen Scheduler ein und implementiert ihn als GPU-Kernel, um die Anzahl aktivierter Experts über GPUs hinweg bei minimalem Overhead auszugleichen und so die Inferenzlatenz zu verringern. Drittens führt Janus eine feingranulare Ressourcenverwaltung durch, um die Platzierung von Experts dynamisch anzupassen und Attention- sowie MoE-Ressourcen unabhängig zu skalieren, um die Gesamteffizienz zu verbessern. Die Evaluation zeigt, dass Janus bis zu 3,9-mal höheren Durchsatz pro GPU als state-of-the-art-Systeme erreicht, während gleichzeitig die Latenzanforderungen pro Token erfüllt werden.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.

Janus: Trennung von Attention und Experten für skalierbare MoE-Inferenz

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

papers.abstract

Support