Langkontext-Aufmerksamkeits-Benchmark: Von Kerneffizienz zu verteilter Kontextparallelität

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

October 19, 2025

papers.authors: Tao Bu, Qiangang Wang, Bowen Zeng, Hanwen Sun, Yunpeng Huang, Chun Cao, Jingwei Xu

cs.AI

papers.abstract

Transformer-basierte großsprachliche Modelle (LLMs) haben bemerkenswerte Erfolge erzielt, doch ihr standardmäßiger Aufmerksamkeitsmechanismus verursacht quadratische Rechen- und Speicherkosten in Bezug auf die Sequenzlänge, was einen großen Engpass für das Training mit langen Kontexten darstellt. Bisherige Arbeiten begegnen dieser Herausforderung in zwei Richtungen: (1) Kernel-Optimierungen, die dichte und sparse Aufmerksamkeitsoperatoren beschleunigen; und (2) Modul-Strategien, oft als verteilte Aufmerksamkeit oder Context Parallel Training bezeichnet, die die Aufmerksamkeitsberechnung über mehrere Geräte skalieren. Systematische Evaluierungen sind jedoch nach wie vor begrenzt: Operator-Vergleiche sind oft unvollständig, während Context-Parallel-Strategien typischerweise frameworkspezifisch sind, mit unklarer Leistungsanalyse über verschiedene Kontexte hinweg. Um diese Lücken zu schließen, schlagen wir einen einheitlichen Benchmark vor, der repräsentative Aufmerksamkeits-Kernel und Context-Parallel-Mechanismen mit einer modularen und erweiterbaren Schnittstelle zur Evaluation integriert. Der Benchmark bewertet Methoden entlang zwei kritischer Dimensionen: (1) Aufmerksamkeitsmasken-Muster, die die Effizienz, Skalierbarkeit und Nutzbarkeit stark beeinflussen, und (2) Sequenzlänge und Verteilungsgrad, die die Leistung unter extrem langen Kontexten beim Training bestimmen. Durch umfassende Experimente auf einem Cluster mit bis zu 96 GPUs ermöglicht unser Benchmark reproduzierbare Vergleiche, hebt methodspezifische Kompromisse hervor und bietet praktische Leitlinien für den Entwurf und den Einsatz von Aufmerksamkeitsmechanismen im Training von LLMs mit langem Kontext.

English

Transformer-based large language models (LLMs) have achieved remarkable success, yet their standard attention mechanism incurs quadratic computation and memory costs with respect to sequence length, posing a major bottleneck for long-context training. Prior work tackles this challenge along two directions: (1) kernel-level optimizations, which accelerate dense and sparse attention operators; and (2) module-level strategies, often referred to as distributed attention or context parallel training, which scale attention across multiple devices. However, systematic evaluation still remains limited: operator-level comparisons are often incomplete, while context parallel strategies are typically framework-specific, with unclear performance analysis across contexts. To address these gaps, we propose a unified benchmark that integrates representative attention kernels and context parallel mechanisms with a modular and extensible interface for evaluation. The benchmark evaluates methods along two critical dimensions: (1) attention mask patterns, which strongly affect efficiency, scalability, and usability, and (2) sequence length and distributed scale, which determine performance under extreme long-context training. Through comprehensive experiments on the cluster of up to 96 GPUs, our benchmark enables reproducible comparisons, highlights method-specific trade-offs, and provides practical guidance for designing and deploying attention mechanisms in long-context LLM training.