Não Deixe Nenhum Contexto Para Trás: Transformers de Contexto Infinito Eficientes com Infini-attention

Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention

April 10, 2024

Autores: Tsendsuren Munkhdalai, Manaal Faruqui, Siddharth Gopal

cs.AI

Resumo

Este trabalho apresenta um método eficiente para escalar Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformers para entradas infinitamente longas com memória e computação limitadas. Um componente-chave em nossa abordagem proposta é uma nova técnica de atenção denominada Infini-attention. A Infini-attention incorpora uma memória compressiva ao mecanismo de atenção tradicional e integra tanto a atenção local mascarada quanto mecanismos de atenção linear de longo prazo em um único bloco Transformer. Demonstramos a eficácia de nossa abordagem em benchmarks de modelagem de linguagem de contexto longo, recuperação de bloco de contexto de passkey com sequência de 1M e tarefas de sumarização de livros com comprimento de 500K usando LLMs de 1B e 8B. Nossa abordagem introduz parâmetros de memória limitada mínimos e permite inferência rápida em streaming para LLMs.

English

This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention. The Infini-attention incorporates a compressive memory into the vanilla attention mechanism and builds in both masked local attention and long-term linear attention mechanisms in a single Transformer block. We demonstrate the effectiveness of our approach on long-context language modeling benchmarks, 1M sequence length passkey context block retrieval and 500K length book summarization tasks with 1B and 8B LLMs. Our approach introduces minimal bounded memory parameters and enables fast streaming inference for LLMs.