In-Context-Autoencoder zur Kontextkompression in einem großen Sprachmodell

In-context Autoencoder for Context Compression in a Large Language Model

July 13, 2023

Autoren: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei

cs.AI

Zusammenfassung

Wir schlagen den In-context Autoencoder (ICAE) zur Kontextkompression in einem großen Sprachmodell (LLM) vor. Der ICAE besteht aus zwei Modulen: einem lernbaren Encoder, der mit LoRA aus einem LLM adaptiert wurde, um einen langen Kontext in eine begrenzte Anzahl von Speicherplätzen zu komprimieren, und einem festen Decoder, der das Ziel-LLM ist und auf den Speicherplätzen für verschiedene Zwecke aufbauen kann. Wir trainieren den ICAE zunächst mit sowohl Autoencoding- als auch Sprachmodellierungszielen auf umfangreichen Textdaten vor, wodurch er in der Lage ist, Speicherplätze zu generieren, die den ursprünglichen Kontext genau und umfassend repräsentieren. Anschließend feintunen wir den vortrainierten ICAE auf einer kleinen Menge von Instruktionsdaten, um seine Interaktion mit verschiedenen Prompts zur Erzeugung wünschenswerter Antworten zu verbessern. Unsere experimentellen Ergebnisse zeigen, dass der ICAE, der mit unserem vorgeschlagenen Vortrainings- und Feintuning-Paradigma gelernt wurde, effektiv Speicherplätze mit einer 4-fachen Kontextkompression erzeugen kann, die vom Ziel-LLM gut genutzt werden können, um auf verschiedene Prompts zu reagieren. Die vielversprechenden Ergebnisse demonstrieren die bedeutenden Implikationen des ICAE für seinen neuartigen Ansatz zur Lösung des langen Kontextproblems und sein Potenzial, den Rechen- und Speicheraufwand für die LLM-Inferenz in der Praxis zu reduzieren, was weitere Forschungsbemühungen im Bereich des Kontextmanagements für ein LLM nahelegt. Unser Code und unsere Daten werden in Kürze veröffentlicht.

English

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with 4times context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.