Janus: Disgregación de Atención y Expertos para Inferencia Escalable de Modelos de Mezcla de Expertos

Resumen

La inferencia en modelos grandes de Mezcla de Expertos (MoE) es un desafío debido a las altas demandas de recursos y las cargas de trabajo dinámicas. Las soluciones existentes suelen implementar el modelo completo como una única unidad monolítica, lo que aplica una configuración de recursos unificada tanto a los módulos de atención como a los de expertos, a pesar de sus diferentes requisitos, lo que conduce a una escalabilidad limitada e ineficiencia en el uso de recursos. En este artículo, proponemos Janus, un sistema de inferencia MoE escalable que disgrega la atención y los expertos en subclusters de GPU separados, permitiendo que cada módulo se gestione y escale de forma independiente. Janus incorpora tres diseños clave para una inferencia MoE disgregada y eficiente. En primer lugar, propone un esquema de comunicación adaptativo de dos fases que aprovecha las jerarquías de ancho de banda intra-nodo e inter-nodo para un intercambio de datos de baja latencia. En segundo lugar, motivado por la naturaleza limitada por memoria de los módulos MoE, Janus introduce un planificador ligero y lo implementa como un kernel de GPU para equilibrar el número de expertos activados entre las GPUs con una sobrecarga mínima, reduciendo así la latencia de inferencia. En tercer lugar, Janus realiza una gestión de recursos de grano fino para ajustar dinámicamente la ubicación de los expertos y escalar de forma independiente los recursos de atención y MoE, mejorando la eficiencia general. La evaluación muestra que Janus logra hasta 3.9 veces más rendimiento por GPU que los sistemas más avanzados, cumpliendo al mismo tiempo con los requisitos de latencia por token.

English

Large Mixture-of-Experts (MoE) model inference is challenging due to high resource demands and dynamic workloads. Existing solutions often deploy the entire model as a single monolithic unit, which applies a unified resource configuration to both attention and expert modules despite their different requirements, leading to limited scalability and resource inefficiency. In this paper, we propose Janus, a scalable MoE inference system that disaggregates attention and experts on separate GPU sub-clusters, enabling each module to be managed and scaled independently. Janus incorporates three key designs for efficient, disaggregated MoE inference. First, it proposes an adaptive two-phase communication scheme that exploits intra- and inter-node bandwidth hierarchies for low-latency data exchange. Second, motivated by the memory-bound nature of MoE modules, Janus introduces a lightweight scheduler and implements it as a GPU kernel to balance the number of activated experts across GPUs at minimal overhead, thereby reducing inference latency. Third, Janus performs fine-grained resource management to dynamically adjust expert placement and independently scale attention and MoE resources to improve overall efficiency. Evaluation shows Janus achieves up to 3.9 higher perGPU throughput than state-of-the-art systems while meeting per-token latency requirements.

Janus: Disgregación de Atención y Expertos para Inferencia Escalable de Modelos de Mezcla de Expertos

Janus: Disaggregating Attention and Experts for Scalable MoE Inference

Resumen

Support