In-context Autoencoder voor Contextcompressie in een Groot Taalmodel

In-context Autoencoder for Context Compression in a Large Language Model

July 13, 2023

Auteurs: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei

cs.AI

Samenvatting

Wij stellen de In-context Autoencoder (ICAE) voor voor contextcompressie in een groot taalmodel (LLM). De ICAE bestaat uit twee modules: een leerbare encoder die met LoRA is aangepast vanuit een LLM om een lange context samen te persen in een beperkt aantal geheugenslots, en een vaste decoder die het doel-LLM is en zich kan baseren op de geheugenslots voor verschillende doeleinden. We pretrainen eerst de ICAE met zowel autoencoder- als taalmodelleringsdoelstellingen op enorme hoeveelheden tekstdata, waardoor het geheugenslots kan genereren die de oorspronkelijke context nauwkeurig en uitgebreid weergeven. Vervolgens fine-tunen we de gepretrainde ICAE op een kleine hoeveelheid instructiedata om de interactie met verschillende prompts te verbeteren voor het produceren van gewenste reacties. Onze experimentele resultaten tonen aan dat de ICAE, getraind met ons voorgestelde pretrainings- en fine-tuningparadigma, effectief geheugenslots kan produceren met een contextcompressie van 4x, waarop het doel-LLM goed kan voortborduren om te reageren op verschillende prompts. De veelbelovende resultaten tonen de significante implicaties van de ICAE voor zijn nieuwe aanpak van het langecontextprobleem en zijn potentieel om de reken- en geheugenoverhead voor LLM-inferentie in de praktijk te verminderen, wat wijst op verder onderzoek naar contextmanagement voor een LLM. Onze code en data zullen binnenkort worden vrijgegeven.

English

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with 4times context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.