InfLLM-V2: Atenção Comutável Densamente-Esparsa para Adaptação Contínua de Curto a Longo Prazo

Resumo

O processamento de sequências longas é uma capacidade crítica para os modernos modelos de linguagem de grande escala. No entanto, o mecanismo de auto-atenção na arquitetura padrão do Transformer enfrenta sérios gargalos computacionais e de memória ao processar sequências longas. Embora os métodos de atenção esparsa treináveis ofereçam uma solução promissora, abordagens existentes, como a NSA, introduzem parâmetros extras excessivos e perturbam o fluxo de trabalho convencional de pré-treinamento em sequências curtas e ajuste fino em sequências longas, resultando em convergência lenta e dificuldade de aceleração. Para superar essas limitações, introduzimos uma estrutura de atenção comutável densa-esparsa, denominada InfLLM-V2. O InfLLM-V2 é uma atenção esparsa treinável que adapta os modelos de forma contínua de sequências curtas para longas. Especificamente, o InfLLM-V2 reutiliza parâmetros de atenção densa por meio de modificações arquitetônicas sem parâmetros, mantendo a consistência entre o processamento de sequências curtas e longas. Além disso, o InfLLM-V2 garante eficiência computacional em todos os comprimentos de sequência, utilizando atenção densa para entradas curtas e transicionando suavemente para atenção esparsa em sequências longas. Para alcançar aceleração prática, introduzimos ainda uma implementação eficiente do InfLLM-V2 que reduz significativamente a sobrecarga computacional. Nossos experimentos em compreensão de contexto longo e raciocínio em cadeia de pensamento demonstram que o InfLLM-V2 é 4 vezes mais rápido que a atenção densa, mantendo 98,1% e 99,7% do desempenho, respectivamente. Com base na estrutura InfLLM-V2, treinamos e disponibilizamos publicamente o MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), um modelo de raciocínio híbrido, fornecendo uma implementação reproduzível para a comunidade de pesquisa.

English

Long-sequence processing is a critical capability for modern large language models. However, the self-attention mechanism in the standard Transformer architecture faces severe computational and memory bottlenecks when processing long sequences. While trainable sparse attention methods offer a promising solution, existing approaches such as NSA introduce excessive extra parameters and disrupt the conventional pretrain-on-short, finetune-on-long workflow, resulting in slow convergence and difficulty in acceleration. To overcome these limitations, we introduce dense-sparse switchable attention framework, termed as InfLLM-V2. InfLLM-V2 is a trainable sparse attention that seamlessly adapts models from short to long sequences. Specifically, InfLLM-V2 reuses dense attention parameters through parameter-free architecture modification, maintaining consistency between short and long sequence processing. Additionally, InfLLM-V2 ensures computational efficiency across all sequence lengths, by using dense attention for short inputs and smoothly transitioning to sparse attention for long sequences. To achieve practical acceleration, we further introduce an efficient implementation of InfLLM-V2 that significantly reduces the computational overhead. Our experiments on long-context understanding and chain-of-thought reasoning demonstrate that InfLLM-V2 is 4times faster than dense attention while retaining 98.1% and 99.7% of the performance, respectively. Based on the InfLLM-V2 framework, we have trained and open-sourced MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), a hybrid reasoning model, providing a reproducible implementation for the research community.

InfLLM-V2: Atenção Comutável Densamente-Esparsa para Adaptação Contínua de Curto a Longo Prazo

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

Resumo

Support