InfLLM-V2: Переключаемое внимание с плотной и разреженной структурой для плавной адаптации от коротких к длинным последовательностям

Аннотация

Обработка длинных последовательностей является критически важной функцией для современных крупных языковых моделей. Однако механизм самовнимания в стандартной архитектуре Transformer сталкивается с серьезными вычислительными и ресурсными ограничениями при обработке длинных последовательностей. Хотя обучаемые методы разреженного внимания предлагают перспективное решение, существующие подходы, такие как NSA, вводят избыточное количество дополнительных параметров и нарушают традиционный рабочий процесс предварительного обучения на коротких последовательностях с последующей донастройкой на длинных, что приводит к медленной сходимости и трудностям в ускорении. Чтобы преодолеть эти ограничения, мы представляем фреймворк переключаемого плотно-разреженного внимания, названный InfLLM-V2. InfLLM-V2 — это обучаемое разреженное внимание, которое позволяет моделям плавно адаптироваться от коротких к длинным последовательностям. В частности, InfLLM-V2 повторно использует параметры плотного внимания за счет модификации архитектуры без введения дополнительных параметров, сохраняя согласованность между обработкой коротких и длинных последовательностей. Кроме того, InfLLM-V2 обеспечивает вычислительную эффективность для всех длин последовательностей, используя плотное внимание для коротких входных данных и плавно переходя к разреженному вниманию для длинных последовательностей. Для достижения практического ускорения мы также представляем эффективную реализацию InfLLM-V2, которая значительно снижает вычислительные затраты. Наши эксперименты по пониманию длинного контекста и рассуждениям с цепочкой мыслей демонстрируют, что InfLLM-V2 работает в 4 раза быстрее, чем плотное внимание, сохраняя при этом 98,1% и 99,7% производительности соответственно. На основе фреймворка InfLLM-V2 мы обучили и открыли доступ к модели MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), гибридной модели рассуждений, предоставив воспроизводимую реализацию для научного сообщества.

English

Long-sequence processing is a critical capability for modern large language models. However, the self-attention mechanism in the standard Transformer architecture faces severe computational and memory bottlenecks when processing long sequences. While trainable sparse attention methods offer a promising solution, existing approaches such as NSA introduce excessive extra parameters and disrupt the conventional pretrain-on-short, finetune-on-long workflow, resulting in slow convergence and difficulty in acceleration. To overcome these limitations, we introduce dense-sparse switchable attention framework, termed as InfLLM-V2. InfLLM-V2 is a trainable sparse attention that seamlessly adapts models from short to long sequences. Specifically, InfLLM-V2 reuses dense attention parameters through parameter-free architecture modification, maintaining consistency between short and long sequence processing. Additionally, InfLLM-V2 ensures computational efficiency across all sequence lengths, by using dense attention for short inputs and smoothly transitioning to sparse attention for long sequences. To achieve practical acceleration, we further introduce an efficient implementation of InfLLM-V2 that significantly reduces the computational overhead. Our experiments on long-context understanding and chain-of-thought reasoning demonstrate that InfLLM-V2 is 4times faster than dense attention while retaining 98.1% and 99.7% of the performance, respectively. Based on the InfLLM-V2 framework, we have trained and open-sourced MiniCPM4.1 (https://huggingface.co/openbmb/MiniCPM4.1-8B), a hybrid reasoning model, providing a reproducible implementation for the research community.

InfLLM-V2: Переключаемое внимание с плотной и разреженной структурой для плавной адаптации от коротких к длинным последовательностям

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

Аннотация

Support