Минимакс разреженное внимание

Аннотация

Способность обрабатывать сверхдлинные контексты становится незаменимой для современных LLM: агентные рабочие процессы, понимание кода на уровне репозитория и долговременная память требуют от модели совместного внимания к сотням тысяч или миллионам токенов, однако квадратичная стоимость softmax-внимания делает это неприемлемым при развертывании в масштабе. Мы представляем MiniMax Sparse Attention (MSA) — блочное разреженное внимание, построенное на основе Grouped Query Attention (GQA). Легковесная индексная ветвь оценивает блоки ключ-значение и независимо выбирает подмножество Top-k для каждой группы GQA, обеспечивая специфичную для группы разреженную выборку при сохранении эффективного выполнения на уровне блоков; основная ветвь затем выполняет точное блочно-разреженное внимание только по выбранным блокам. Разработанная на основе принципов простоты и масштабируемости, MSA намеренно упрощена, что позволяет легко развертывать ее на широком спектре GPU. Чтобы преобразовать разреженность в практическое ускорение, мы совместно разработали MSA с путем выполнения на GPU, использующим выбор Top-k без exp и внешнее разреженное внимание KV для улучшения использования тензорных ядер при доступе с гранулярностью блоков. На модели с 109 млрд параметров, обученной с поддержкой мультимодальности с самого начала, MSA показывает результаты, сопоставимые с GQA, при этом сокращая вычислительные затраты внимания на токен в 28,4 раза при контексте в 1 млн. В сочетании с совместно разработанным ядром MSA достигает ускорения времени выполнения на H800 в 14,2 раза для prefill и в 7,6 раза для декодирования. Наше инференсное ядро доступно по адресу: https://github.com/MiniMax-AI/MSA. Промышленная мультимодальная модель, работающая на основе MSA, была опубликована по адресу: https://huggingface.co/MiniMaxAI/MiniMax-M3.

English

Ultra-long-context capability is becoming indispensable for frontier LLMs: agentic workflows, repository-scale code reasoning, and persistent memory all require the model to jointly attend over hundreds of thousands to millions of tokens, yet the quadratic cost of softmax attention makes this untenable at deployment scale. We introduce MiniMax Sparse Attention (MSA), a blockwise sparse attention built upon Grouped Query Attention (GQA). A lightweight Index Branch scores key-value blocks and independently selects a Top-k subset for each GQA group, enabling group-specific sparse retrieval while maintaining efficient block-level execution; the Main Branch then performs exact block-sparse attention over only the selected blocks. Designed around a principle of simplicity and scalability, MSA is deliberately streamlined, making it straightforward to deploy efficiently across a broad range of GPUs. To translate sparsity into practical speedups, we co-design MSA with a GPU execution path that uses exp-free Top-k selection and KV-outer sparse attention to improve tensor-core utilization under block-granular access. On a 109B-parameter model with native multimodal training, MSA performs on par with GQA while reducing per-token attention compute by 28.4x at 1M context. Paired with our co-designed kernel, MSA achieves 14.2x prefill and 7.6x decoding wall-clock speedups on H800. Our inference kernel is available at: https://github.com/MiniMax-AI/MSA. A production-grade natively multimodal model powered by MSA has been publicly released at: https://huggingface.co/MiniMaxAI/MiniMax-M3.