InfLLM-V2 : Attention commutables dense-sparse pour une adaptation fluide du court au long terme

papers.abstract

Le traitement de longues séquences est une capacité essentielle pour les grands modèles de langage modernes. Cependant, le mécanisme d'auto-attention dans l'architecture standard du Transformer rencontre de sévères goulots d'étranglement en termes de calcul et de mémoire lors du traitement de longues séquences. Bien que les méthodes d'attention sparse entraînables offrent une solution prometteuse, les approches existantes telles que NSA introduisent un nombre excessif de paramètres supplémentaires et perturbent le flux de travail conventionnel de pré-entraînement sur des séquences courtes et de fine-tuning sur des séquences longues, entraînant une convergence lente et des difficultés d'accélération. Pour surmonter ces limitations, nous introduisons un cadre d'attention dense-sparse commutables, appelé InfLLM-V2. InfLLM-V2 est une attention sparse entraînable qui adapte de manière transparente les modèles des séquences courtes aux séquences longues. Plus précisément, InfLLM-V2 réutilise les paramètres de l'attention dense grâce à une modification architecturale sans paramètres, maintenant ainsi la cohérence entre le traitement des séquences courtes et longues. De plus, InfLLM-V2 assure une efficacité computationnelle pour toutes les longueurs de séquences, en utilisant l'attention dense pour les entrées courtes et en passant progressivement à l'attention sparse pour les séquences longues. Pour réaliser une accélération pratique, nous introduisons également une implémentation efficace d'InfLLM-V2 qui réduit significativement la surcharge computationnelle. Nos expériences sur la compréhension de contextes longs et le raisonnement en chaîne de pensée démontrent qu'InfLLM-V2 est 4 fois plus rapide que l'attention dense tout en conservant respectivement 98,1 % et 99,7 % des performances. Sur la base du cadre InfLLM-V2, nous avons entraîné et ouvert MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), un modèle de raisonnement hybride, fournissant une implémentation reproductible pour la communauté de recherche.

English

Long-sequence processing is a critical capability for modern large language models. However, the self-attention mechanism in the standard Transformer architecture faces severe computational and memory bottlenecks when processing long sequences. While trainable sparse attention methods offer a promising solution, existing approaches such as NSA introduce excessive extra parameters and disrupt the conventional pretrain-on-short, finetune-on-long workflow, resulting in slow convergence and difficulty in acceleration. To overcome these limitations, we introduce dense-sparse switchable attention framework, termed as InfLLM-V2. InfLLM-V2 is a trainable sparse attention that seamlessly adapts models from short to long sequences. Specifically, InfLLM-V2 reuses dense attention parameters through parameter-free architecture modification, maintaining consistency between short and long sequence processing. Additionally, InfLLM-V2 ensures computational efficiency across all sequence lengths, by using dense attention for short inputs and smoothly transitioning to sparse attention for long sequences. To achieve practical acceleration, we further introduce an efficient implementation of InfLLM-V2 that significantly reduces the computational overhead. Our experiments on long-context understanding and chain-of-thought reasoning demonstrate that InfLLM-V2 is 4times faster than dense attention while retaining 98.1% and 99.7% of the performance, respectively. Based on the InfLLM-V2 framework, we have trained and open-sourced MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), a hybrid reasoning model, providing a reproducible implementation for the research community.

InfLLM-V2 : Attention commutables dense-sparse pour une adaptation fluide du court au long terme

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

papers.abstract

Support