Autoencoder en contexto para compresión de contexto en un modelo de lenguaje grande

In-context Autoencoder for Context Compression in a Large Language Model

July 13, 2023

Autores: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei

cs.AI

Resumen

Proponemos el Autoencoder en Contexto (ICAE, por sus siglas en inglés) para la compresión de contexto en un modelo de lenguaje grande (LLM). El ICAE consta de dos módulos: un codificador entrenable adaptado con LoRA a partir de un LLM para comprimir un contexto extenso en un número limitado de espacios de memoria, y un decodificador fijo que es el LLM objetivo, el cual puede condicionarse a los espacios de memoria para diversos propósitos. Primero, preentrenamos el ICAE utilizando objetivos tanto de autoencoding como de modelado de lenguaje en grandes volúmenes de datos textuales, lo que le permite generar espacios de memoria que representan de manera precisa y exhaustiva el contexto original. Luego, afinamos el ICAE preentrenado con una pequeña cantidad de datos de instrucción para mejorar su interacción con diversos prompts y producir respuestas deseables. Nuestros resultados experimentales demuestran que el ICAE, entrenado con nuestro paradigma de preentrenamiento y afinamiento, puede generar efectivamente espacios de memoria con una compresión de contexto de 4 veces, los cuales pueden ser bien condicionados por el LLM objetivo para responder a diversos prompts. Estos resultados prometedores destacan las implicaciones significativas del ICAE por su enfoque novedoso al problema del contexto extenso y su potencial para reducir los costos computacionales y de memoria en la inferencia de LLM en la práctica, sugiriendo un mayor esfuerzo de investigación en la gestión de contexto para un LLM. Nuestro código y datos serán publicados próximamente.

English

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with 4times context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.