InfLLM-V2: Dichte-Sparse schaltbare Aufmerksamkeit für nahtlose Anpassung von kurz- zu langfristigen Anwendungen

papers.abstract

Die Verarbeitung langer Sequenzen ist eine entscheidende Fähigkeit für moderne große Sprachmodelle. Allerdings stößt der Selbstaufmerksamkeitsmechanismus in der standardmäßigen Transformer-Architektur bei der Verarbeitung langer Sequenzen auf erhebliche Rechen- und Speicherengpässe. Während trainierbare spärliche Aufmerksamkeitsmethoden eine vielversprechende Lösung bieten, führen bestehende Ansätze wie NSA zu übermäßig vielen zusätzlichen Parametern und stören den konventionellen Workflow des Vortrainierens auf kurzen und Feinabstimmens auf langen Sequenzen, was zu langsamer Konvergenz und Schwierigkeiten bei der Beschleunigung führt. Um diese Einschränkungen zu überwinden, führen wir ein dicht-spärlich schaltbares Aufmerksamkeitsframework ein, das als InfLLM-V2 bezeichnet wird. InfLLM-V2 ist eine trainierbare spärliche Aufmerksamkeit, die Modelle nahtlos von kurzen zu langen Sequenzen anpasst. Insbesondere wiederverwendet InfLLM-V2 dichte Aufmerksamkeitsparameter durch parameterfreie Architekturmodifikationen und gewährleistet so Konsistenz zwischen der Verarbeitung kurzer und langer Sequenzen. Zudem stellt InfLLM-V2 Recheneffizienz über alle Sequenzlängen hinweg sicher, indem es dichte Aufmerksamkeit für kurze Eingaben verwendet und nahtlos zu spärlicher Aufmerksamkeit für lange Sequenzen übergeht. Um eine praktische Beschleunigung zu erreichen, führen wir weiterhin eine effiziente Implementierung von InfLLM-V2 ein, die den Rechenaufwand erheblich reduziert. Unsere Experimente zum Verständnis langer Kontexte und zur Kettenlogikschlussfolgerung zeigen, dass InfLLM-V2 viermal schneller ist als dichte Aufmerksamkeit, während es 98,1 % bzw. 99,7 % der Leistung beibehält. Basierend auf dem InfLLM-V2-Framework haben wir MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), ein hybrides Schlussfolgerungsmodell, trainiert und als Open-Source veröffentlicht, wodurch eine reproduzierbare Implementierung für die Forschungsgemeinschaft bereitgestellt wird.

English

Long-sequence processing is a critical capability for modern large language models. However, the self-attention mechanism in the standard Transformer architecture faces severe computational and memory bottlenecks when processing long sequences. While trainable sparse attention methods offer a promising solution, existing approaches such as NSA introduce excessive extra parameters and disrupt the conventional pretrain-on-short, finetune-on-long workflow, resulting in slow convergence and difficulty in acceleration. To overcome these limitations, we introduce dense-sparse switchable attention framework, termed as InfLLM-V2. InfLLM-V2 is a trainable sparse attention that seamlessly adapts models from short to long sequences. Specifically, InfLLM-V2 reuses dense attention parameters through parameter-free architecture modification, maintaining consistency between short and long sequence processing. Additionally, InfLLM-V2 ensures computational efficiency across all sequence lengths, by using dense attention for short inputs and smoothly transitioning to sparse attention for long sequences. To achieve practical acceleration, we further introduce an efficient implementation of InfLLM-V2 that significantly reduces the computational overhead. Our experiments on long-context understanding and chain-of-thought reasoning demonstrate that InfLLM-V2 is 4times faster than dense attention while retaining 98.1% and 99.7% of the performance, respectively. Based on the InfLLM-V2 framework, we have trained and open-sourced MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), a hybrid reasoning model, providing a reproducible implementation for the research community.

InfLLM-V2: Dichte-Sparse schaltbare Aufmerksamkeit für nahtlose Anpassung von kurz- zu langfristigen Anwendungen

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

papers.abstract

Support