Atenção Esparsa MiniMax

Resumo

A capacidade de contexto ultra-longo está se tornando indispensável para LLMs de ponta: fluxos de trabalho agentivos, raciocínio de código em escala de repositório e memória persistente exigem que o modelo atenda conjuntamente a centenas de milhares a milhões de tokens, mas o custo quadrático da atenção softmax torna isso inviável em escala de implantação. Apresentamos a Atenção Esparsa MiniMax (MSA), uma atenção esparsa por blocos construída sobre a Atenção de Consulta Agrupada (GQA). Um Ramo de Índice leve pontua blocos de chave-valor e seleciona independentemente um subconjunto Top-k para cada grupo GQA, permitindo recuperação esparsa específica por grupo enquanto mantém a execução eficiente em nível de bloco; o Ramo Principal então realiza atenção esparsa exata por blocos apenas sobre os blocos selecionados. Projetada em torno de um princípio de simplicidade e escalabilidade, a MSA é deliberadamente simplificada, tornando-a direta para implantação eficiente em uma ampla gama de GPUs. Para traduzir a esparsidade em acelerações práticas, co-projetamos a MSA com um caminho de execução em GPU que utiliza seleção Top-k sem exp e atenção esparsa KV-externa para melhorar a utilização de núcleos tensoriais sob acesso granular por bloco. Em um modelo de 109B parâmetros com treinamento multimodal nativo, a MSA tem desempenho equivalente ao GQA enquanto reduz o cálculo de atenção por token em 28,4x no contexto de 1M. Combinada com nosso kernel co-projetado, a MSA alcança acelerações de tempo de parede de 14,2x no preenchimento e 7,6x na decodificação em H800. Nosso kernel de inferência está disponível em: https://github.com/MiniMax-AI/MSA. Um modelo multimodal nativo de nível de produção alimentado por MSA foi lançado publicamente em: https://huggingface.co/MiniMaxAI/MiniMax-M3.

English

Ultra-long-context capability is becoming indispensable for frontier LLMs: agentic workflows, repository-scale code reasoning, and persistent memory all require the model to jointly attend over hundreds of thousands to millions of tokens, yet the quadratic cost of softmax attention makes this untenable at deployment scale. We introduce MiniMax Sparse Attention (MSA), a blockwise sparse attention built upon Grouped Query Attention (GQA). A lightweight Index Branch scores key-value blocks and independently selects a Top-k subset for each GQA group, enabling group-specific sparse retrieval while maintaining efficient block-level execution; the Main Branch then performs exact block-sparse attention over only the selected blocks. Designed around a principle of simplicity and scalability, MSA is deliberately streamlined, making it straightforward to deploy efficiently across a broad range of GPUs. To translate sparsity into practical speedups, we co-design MSA with a GPU execution path that uses exp-free Top-k selection and KV-outer sparse attention to improve tensor-core utilization under block-granular access. On a 109B-parameter model with native multimodal training, MSA performs on par with GQA while reducing per-token attention compute by 28.4x at 1M context. Paired with our co-designed kernel, MSA achieves 14.2x prefill and 7.6x decoding wall-clock speedups on H800. Our inference kernel is available at: https://github.com/MiniMax-AI/MSA. A production-grade natively multimodal model powered by MSA has been publicly released at: https://huggingface.co/MiniMaxAI/MiniMax-M3.