ReMamba: Equipar Mamba com Modelagem Efetiva de Sequências Longas

ReMamba: Equip Mamba with Effective Long-Sequence Modeling

August 28, 2024

Autores: Danlong Yuan, Jiahao Liu, Bei Li, Huishuai Zhang, Jingang Wang, Xunliang Cai, Dongyan Zhao

cs.AI

Resumo

Enquanto a arquitetura Mamba demonstra uma eficiência de inferência superior e um desempenho competitivo em tarefas de processamento de linguagem natural (PLN) de curto contexto, evidências empíricas sugerem que sua capacidade de compreender contextos longos é limitada em comparação com modelos baseados em transformadores. Neste estudo, investigamos os problemas de eficiência de contexto longo dos modelos Mamba e propomos o ReMamba, que aprimora a capacidade do Mamba de compreender contextos longos. O ReMamba incorpora técnicas de compressão seletiva e adaptação dentro de um processo de reencaminhamento de duas etapas, acarretando um custo mínimo adicional de sobrecarga de inferência. Resultados experimentais nos benchmarks LongBench e L-Eval demonstram a eficácia do ReMamba, melhorando em 3,2 e 1,6 pontos, respectivamente, em relação aos baselines, e alcançando um desempenho quase equivalente aos modelos de transformadores do mesmo tamanho.

English

While the Mamba architecture demonstrates superior inference efficiency and competitive performance on short-context natural language processing (NLP) tasks, empirical evidence suggests its capacity to comprehend long contexts is limited compared to transformer-based models. In this study, we investigate the long-context efficiency issues of the Mamba models and propose ReMamba, which enhances Mamba's ability to comprehend long contexts. ReMamba incorporates selective compression and adaptation techniques within a two-stage re-forward process, incurring minimal additional inference costs overhead. Experimental results on the LongBench and L-Eval benchmarks demonstrate ReMamba's efficacy, improving over the baselines by 3.2 and 1.6 points, respectively, and attaining performance almost on par with same-size transformer models.