Autoencoder in-context per la compressione del contesto in un modello linguistico su larga scala

In-context Autoencoder for Context Compression in a Large Language Model

July 13, 2023

Autori: Tao Ge, Jing Hu, Xun Wang, Si-Qing Chen, Furu Wei

cs.AI

Abstract

Proponiamo l'In-context Autoencoder (ICAE) per la compressione del contesto in un modello linguistico di grandi dimensioni (LLM). L'ICAE è composto da due moduli: un encoder adattabile addestrato con LoRA a partire da un LLM per comprimere un contesto lungo in un numero limitato di slot di memoria, e un decoder fisso rappresentato dall'LLM target che può condizionarsi sugli slot di memoria per vari scopi. Inizialmente, pre-addestriamo l'ICAE utilizzando sia obiettivi di auto-codifica che di modellazione del linguaggio su un ampio corpus di dati testuali, consentendogli di generare slot di memoria che rappresentano in modo accurato e completo il contesto originale. Successivamente, ottimizziamo l'ICAE pre-addestrato su una piccola quantità di dati di istruzione per migliorare la sua interazione con vari prompt e produrre risposte desiderabili. I risultati sperimentali dimostrano che l'ICAE, addestrato con il nostro paradigma di pre-addestramento e ottimizzazione, può generare efficacemente slot di memoria con una compressione del contesto di 4 volte, sui quali l'LLM target può condizionarsi per rispondere a vari prompt. I risultati promettenti evidenziano le significative implicazioni dell'ICAE per il suo approccio innovativo al problema del contesto lungo e il suo potenziale nel ridurre i costi computazionali e di memoria per l'inferenza degli LLM nella pratica, suggerendo ulteriori ricerche sulla gestione del contesto per un LLM. Il nostro codice e i dati saranno rilasciati a breve.

English

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with 4times context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.