Benchmark de Atenção de Contexto Longo: Da Eficiência do Kernel ao Paralelismo Distribuído de Contexto

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

October 19, 2025

Autores: Tao Bu, Qiangang Wang, Bowen Zeng, Hanwen Sun, Yunpeng Huang, Chun Cao, Jingwei Xu

cs.AI

Resumo

Os modelos de linguagem de grande porte (LLMs) baseados em Transformer alcançaram sucesso notável, mas seu mecanismo de atenção padrão incorre em custos quadráticos de computação e memória em relação ao comprimento da sequência, representando um grande gargalo para o treinamento de contexto longo. Trabalhos anteriores abordam esse desafio em duas direções: (1) otimizações em nível de *kernel*, que aceleram operadores de atenção densa e esparsa; e (2) estratégias em nível de módulo, frequentemente chamadas de atenção distribuída ou treinamento paralelo de contexto, que dimensionam a atenção em múltiplos dispositivos. No entanto, a avaliação sistemática ainda é limitada: comparações em nível de operador são frequentemente incompletas, enquanto estratégias de paralelismo de contexto são tipicamente específicas de *framework*, com análise de desempenho pouco clara entre contextos. Para abordar essas lacunas, propomos um *benchmark* unificado que integra *kernels* de atenção representativos e mecanismos de paralelismo de contexto com uma interface modular e extensível para avaliação. O *benchmark* avalia métodos ao longo de duas dimensões críticas: (1) padrões de máscara de atenção, que afetam fortemente a eficiência, escalabilidade e usabilidade, e (2) comprimento da sequência e escala distribuída, que determinam o desempenho sob treinamento de contexto extremamente longo. Por meio de experimentos abrangentes no *cluster* de até 96 GPUs, nosso *benchmark* permite comparações reproduzíveis, destaca *trade-offs* específicos de cada método e fornece orientação prática para projetar e implantar mecanismos de atenção no treinamento de LLMs de contexto longo.

English

Transformer-based large language models (LLMs) have achieved remarkable success, yet their standard attention mechanism incurs quadratic computation and memory costs with respect to sequence length, posing a major bottleneck for long-context training. Prior work tackles this challenge along two directions: (1) kernel-level optimizations, which accelerate dense and sparse attention operators; and (2) module-level strategies, often referred to as distributed attention or context parallel training, which scale attention across multiple devices. However, systematic evaluation still remains limited: operator-level comparisons are often incomplete, while context parallel strategies are typically framework-specific, with unclear performance analysis across contexts. To address these gaps, we propose a unified benchmark that integrates representative attention kernels and context parallel mechanisms with a modular and extensible interface for evaluation. The benchmark evaluates methods along two critical dimensions: (1) attention mask patterns, which strongly affect efficiency, scalability, and usability, and (2) sequence length and distributed scale, which determine performance under extreme long-context training. Through comprehensive experiments on the cluster of up to 96 GPUs, our benchmark enables reproducible comparisons, highlights method-specific trade-offs, and provides practical guidance for designing and deploying attention mechanisms in long-context LLM training.