Atención Dispersa MiniMax

Resumen

La capacidad de contexto ultra largo se está volviendo indispensable para los LLMs de vanguardia: los flujos de trabajo agentivos, el razonamiento de código a escala de repositorio y la memoria persistente requieren que el modelo atienda de manera conjunta a cientos de miles o millones de tokens, pero el costo cuadrático de la atención softmax hace que esto sea insostenible a escala de despliegue. Presentamos MiniMax Sparse Attention (MSA), una atención dispersa por bloques construida sobre la base de Grouped Query Attention (GQA). Una Rama de Índice ligera puntúa los bloques clave-valor y selecciona de manera independiente un subconjunto Top-k para cada grupo de GQA, permitiendo una recuperación dispersa específica del grupo mientras mantiene una ejecución eficiente a nivel de bloques; la Rama Principal realiza entonces una atención dispersa por bloques exacta solo sobre los bloques seleccionados. Diseñada en torno a un principio de simplicidad y escalabilidad, MSA está deliberadamente simplificada, lo que la hace fácil de implementar de manera eficiente en una amplia variedad de GPUs. Para traducir la dispersión en aceleraciones prácticas, codiseñamos MSA con una ruta de ejecución en GPU que utiliza selección Top-k sin exp y atención dispersa KV-externa para mejorar la utilización de los núcleos tensoriales bajo acceso a granularidad de bloques. En un modelo de 109 mil millones de parámetros con entrenamiento multimodal nativo, MSA funciona a la par que GQA mientras reduce el cómputo de atención por token en 28.4x para un contexto de 1M. Junto con nuestro kernel codiseñado, MSA logra aceleraciones de tiempo real de 14.2x en prefill y 7.6x en decodificación en H800. Nuestro kernel de inferencia está disponible en: https://github.com/MiniMax-AI/MSA. Un modelo multimodal nativo de calidad de producción impulsado por MSA ha sido publicado públicamente en: https://huggingface.co/MiniMaxAI/MiniMax-M3.

English

Ultra-long-context capability is becoming indispensable for frontier LLMs: agentic workflows, repository-scale code reasoning, and persistent memory all require the model to jointly attend over hundreds of thousands to millions of tokens, yet the quadratic cost of softmax attention makes this untenable at deployment scale. We introduce MiniMax Sparse Attention (MSA), a blockwise sparse attention built upon Grouped Query Attention (GQA). A lightweight Index Branch scores key-value blocks and independently selects a Top-k subset for each GQA group, enabling group-specific sparse retrieval while maintaining efficient block-level execution; the Main Branch then performs exact block-sparse attention over only the selected blocks. Designed around a principle of simplicity and scalability, MSA is deliberately streamlined, making it straightforward to deploy efficiently across a broad range of GPUs. To translate sparsity into practical speedups, we co-design MSA with a GPU execution path that uses exp-free Top-k selection and KV-outer sparse attention to improve tensor-core utilization under block-granular access. On a 109B-parameter model with native multimodal training, MSA performs on par with GQA while reducing per-token attention compute by 28.4x at 1M context. Paired with our co-designed kernel, MSA achieves 14.2x prefill and 7.6x decoding wall-clock speedups on H800. Our inference kernel is available at: https://github.com/MiniMax-AI/MSA. A production-grade natively multimodal model powered by MSA has been publicly released at: https://huggingface.co/MiniMaxAI/MiniMax-M3.