Autoencoder de Contexto Integrado para Compressão de Contexto em um Modelo de Linguagem de Grande Escala

In-context Autoencoder for Context Compression in a Large Language Model

July 13, 2023

Autores: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei

cs.AI

Resumo

Propomos o Autoencoder In-context (ICAE) para compressão de contexto em um modelo de linguagem de grande escala (LLM). O ICAE possui dois módulos: um codificador adaptável ajustado com LoRA a partir de um LLM para comprimir um contexto longo em um número limitado de slots de memória, e um decodificador fixo que é o LLM alvo, o qual pode se condicionar aos slots de memória para diversos propósitos. Primeiro, pré-treinamos o ICAE utilizando objetivos de autoencodificação e modelagem de linguagem em um grande volume de dados textuais, permitindo que ele gere slots de memória que representem de forma precisa e abrangente o contexto original. Em seguida, ajustamos finamente o ICAE pré-treinado em uma pequena quantidade de dados de instrução para aprimorar sua interação com diversos prompts, visando produzir respostas desejáveis. Nossos resultados experimentais demonstram que o ICAE, aprendido com nosso paradigma proposto de pré-treinamento e ajuste fino, pode efetivamente produzir slots de memória com uma compressão de contexto de 4 vezes, os quais podem ser bem condicionados pelo LLM alvo para responder a diversos prompts. Os resultados promissores demonstram implicações significativas do ICAE por sua abordagem inovadora ao problema de contexto longo e seu potencial para reduzir custos computacionais e de memória na inferência de LLMs na prática, sugerindo esforços adicionais de pesquisa em gerenciamento de contexto para LLMs. Nosso código e dados serão liberados em breve.

English

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with 4times context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.