Erweiterung des Kontextfensters großer Sprachmodelle durch semantische Kompression

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Autoren: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Zusammenfassung

Transformer-basierte Large Language Models (LLMs) setzen oft Grenzen für die Länge des Texteingangs, um die Erzeugung flüssiger und relevanter Antworten zu gewährleisten. Diese Einschränkung begrenzt ihre Anwendbarkeit in Szenarien, die lange Texte betreffen. Wir schlagen eine neuartige Methode zur semantischen Kompression vor, die eine Generalisierung auf Texte ermöglicht, die 6-8 Mal länger sind, ohne signifikante Rechenkosten zu verursachen oder ein Fine-Tuning zu erfordern. Unser vorgeschlagenes Framework lässt sich von der Quellencodierung in der Informationstheorie inspirieren und verwendet ein vortrainiertes Modell, um die semantische Redundanz langer Eingaben zu reduzieren, bevor sie an die LLMs für nachgelagerte Aufgaben weitergegeben werden. Experimentelle Ergebnisse zeigen, dass unsere Methode das Kontextfenster von LLMs effektiv über eine Reihe von Aufgaben hinweg erweitert, einschließlich Fragebeantwortung, Zusammenfassung, Few-Shot-Lernen und Informationsabruf. Darüber hinaus zeigt die vorgeschlagene Methode zur semantischen Kompression eine konsistente Flüssigkeit bei der Texterzeugung, während der damit verbundene Rechenaufwand reduziert wird.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.