ReMamba: Обеспечение Мамбы эффективной моделированием длинных последовательностей

ReMamba: Equip Mamba with Effective Long-Sequence Modeling

August 28, 2024

Авторы: Danlong Yuan, Jiahao Liu, Bei Li, Huishuai Zhang, Jingang Wang, Xunliang Cai, Dongyan Zhao

cs.AI

Аннотация

Хотя архитектура Mamba демонстрирует превосходную эффективность вывода и конкурентоспособную производительность на задачах обработки естественного языка (NLP) с коротким контекстом, эмпирические данные свидетельствуют о ее ограниченной способности понимать длинные контексты по сравнению с моделями на основе трансформеров. В данном исследовании мы исследуем проблемы эффективности обработки длинных контекстов моделей Mamba и предлагаем ReMamba, который улучшает способность Mamba понимать длинные контексты. ReMamba включает в себя селективные методы сжатия и адаптации в рамках двухэтапного процесса повторного прямого прохода, при этом несущие минимальные дополнительные накладные расходы на вывод. Экспериментальные результаты на бенчмарках LongBench и L-Eval демонстрируют эффективность ReMamba, улучшая базовые показатели на 3,2 и 1,6 пункта соответственно и достигая производительности практически на уровне моделей-трансформеров того же размера.

English

While the Mamba architecture demonstrates superior inference efficiency and competitive performance on short-context natural language processing (NLP) tasks, empirical evidence suggests its capacity to comprehend long contexts is limited compared to transformer-based models. In this study, we investigate the long-context efficiency issues of the Mamba models and propose ReMamba, which enhances Mamba's ability to comprehend long contexts. ReMamba incorporates selective compression and adaptation techniques within a two-stage re-forward process, incurring minimal additional inference costs overhead. Experimental results on the LongBench and L-Eval benchmarks demonstrate ReMamba's efficacy, improving over the baselines by 3.2 and 1.6 points, respectively, and attaining performance almost on par with same-size transformer models.