Benchmark d'Attention à Contexte Long : De l'Efficacité des Noyaux au Parallélisme Distribué de Contexte

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

October 19, 2025

papers.authors: Tao Bu, Qiangang Wang, Bowen Zeng, Hanwen Sun, Yunpeng Huang, Chun Cao, Jingwei Xu

cs.AI

papers.abstract

Les grands modèles de langage (LLM) basés sur l'architecture Transformer ont obtenu des succès remarquables, mais leur mécanisme d'attention standard entraîne des coûts de calcul et de mémoire quadratiques par rapport à la longueur des séquences, constituant un goulot d'étranglement majeur pour l'entraînement en contexte long. Les travaux antérieurs abordent ce défi selon deux axes : (1) les optimisations au niveau noyau, qui accélèrent les opérateurs d'attention dense et clairsemée ; et (2) les stratégies au niveau module, souvent appelées attention distribuée ou entraînement parallèle par contexte, qui répartissent le calcul de l'attention sur plusieurs appareils. Cependant, l'évaluation systématique reste limitée : les comparaisons au niveau opérateur sont souvent incomplètes, tandis que les stratégies parallèles par contexte sont généralement spécifiques à un framework, avec une analyse de performance peu claire selon les contextes. Pour combler ces lacunes, nous proposons un benchmark unifié qui intègre des noyaux d'attention représentatifs et des mécanismes parallèles par contexte avec une interface modulaire et extensible pour l'évaluation. Le benchmark évalue les méthodes selon deux dimensions critiques : (1) les motifs de masque d'attention, qui affectent fortement l'efficacité, l'évolutivité et la facilité d'utilisation, et (2) la longueur des séquences et l'échelle distribuée, qui déterminent les performances dans des conditions d'entraînement en contexte extrêmement long. Grâce à des expériences complètes sur un cluster allant jusqu'à 96 GPU, notre benchmark permet des comparaisons reproductibles, met en lumière les compromis spécifiques à chaque méthode et fournit des conseils pratiques pour la conception et le déploiement de mécanismes d'attention dans l'entraînement de LLM en contexte long.

English

Transformer-based large language models (LLMs) have achieved remarkable success, yet their standard attention mechanism incurs quadratic computation and memory costs with respect to sequence length, posing a major bottleneck for long-context training. Prior work tackles this challenge along two directions: (1) kernel-level optimizations, which accelerate dense and sparse attention operators; and (2) module-level strategies, often referred to as distributed attention or context parallel training, which scale attention across multiple devices. However, systematic evaluation still remains limited: operator-level comparisons are often incomplete, while context parallel strategies are typically framework-specific, with unclear performance analysis across contexts. To address these gaps, we propose a unified benchmark that integrates representative attention kernels and context parallel mechanisms with a modular and extensible interface for evaluation. The benchmark evaluates methods along two critical dimensions: (1) attention mask patterns, which strongly affect efficiency, scalability, and usability, and (2) sequence length and distributed scale, which determine performance under extreme long-context training. Through comprehensive experiments on the cluster of up to 96 GPUs, our benchmark enables reproducible comparisons, highlights method-specific trade-offs, and provides practical guidance for designing and deploying attention mechanisms in long-context LLM training.