Бенчмарк внимания с длинным контекстом: от эффективности ядра к распределенному контекстному параллелизму

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

October 19, 2025

Авторы: Tao Bu, Qiangang Wang, Bowen Zeng, Hanwen Sun, Yunpeng Huang, Chun Cao, Jingwei Xu

cs.AI

Аннотация

Крупные языковые модели (LLM) на основе архитектуры Transformer достигли выдающихся успехов, однако их стандартный механизм внимания требует квадратичных вычислительных затрат и затрат памяти относительно длины последовательности, что создает серьезное ограничение для обучения с длинным контекстом. Предыдущие исследования решают эту проблему по двум направлениям: (1) оптимизации на уровне ядра, ускоряющие операторы плотного и разреженного внимания; и (2) стратегии на уровне модуля, часто называемые распределенным вниманием или обучением с параллелизацией контекста, которые масштабируют внимание на несколько устройств. Однако систематическая оценка все еще остается ограниченной: сравнения на уровне операторов часто неполны, в то время как стратегии параллелизации контекста обычно специфичны для конкретных фреймворков, с неясным анализом производительности в различных контекстах. Для устранения этих пробелов мы предлагаем унифицированный бенчмарк, который интегрирует репрезентативные ядра внимания и механизмы параллелизации контекста с модульным и расширяемым интерфейсом для оценки. Бенчмарк оценивает методы по двум критически важным измерениям: (1) шаблоны маски внимания, которые сильно влияют на эффективность, масштабируемость и удобство использования, и (2) длина последовательности и масштаб распределения, которые определяют производительность в условиях экстремально длинного контекста при обучении. Благодаря всесторонним экспериментам на кластере размером до 96 графических процессоров наш бенчмарк позволяет проводить воспроизводимые сравнения, выявляет компромиссы, специфичные для методов, и предоставляет практические рекомендации по проектированию и развертыванию механизмов внимания при обучении LLM с длинным контекстом.

English

Transformer-based large language models (LLMs) have achieved remarkable success, yet their standard attention mechanism incurs quadratic computation and memory costs with respect to sequence length, posing a major bottleneck for long-context training. Prior work tackles this challenge along two directions: (1) kernel-level optimizations, which accelerate dense and sparse attention operators; and (2) module-level strategies, often referred to as distributed attention or context parallel training, which scale attention across multiple devices. However, systematic evaluation still remains limited: operator-level comparisons are often incomplete, while context parallel strategies are typically framework-specific, with unclear performance analysis across contexts. To address these gaps, we propose a unified benchmark that integrates representative attention kernels and context parallel mechanisms with a modular and extensible interface for evaluation. The benchmark evaluates methods along two critical dimensions: (1) attention mask patterns, which strongly affect efficiency, scalability, and usability, and (2) sequence length and distributed scale, which determine performance under extreme long-context training. Through comprehensive experiments on the cluster of up to 96 GPUs, our benchmark enables reproducible comparisons, highlights method-specific trade-offs, and provides practical guidance for designing and deploying attention mechanisms in long-context LLM training.