Het uitbreiden van de contextvenster van grote taalmodelen via semantische compressie

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Auteurs: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Samenvatting

Transformer-gebaseerde Large Language Models (LLMs) leggen vaak beperkingen op aan de lengte van de tekstinput om de generatie van vloeiende en relevante reacties te waarborgen. Deze beperking beperkt hun toepasbaarheid in scenario's waarbij lange teksten betrokken zijn. Wij stellen een nieuwe methode voor semantische compressie voor die generalisatie naar teksten mogelijk maakt die 6-8 keer langer zijn, zonder aanzienlijke rekenkosten te maken of fine-tuning te vereisen. Ons voorgestelde raamwerk put inspiratie uit broncodering in de informatietheorie en maakt gebruik van een vooraf getraind model om de semantische redundantie van lange inputs te verminderen voordat deze worden doorgegeven aan de LLMs voor downstream taken. Experimentele resultaten tonen aan dat onze methode effectief het contextvenster van LLMs uitbreidt over een reeks taken, waaronder vraagbeantwoording, samenvatting, few-shot learning en informatie retrieval. Bovendien toont de voorgestelde methode voor semantische compressie een consistente vloeiendheid in tekstgeneratie terwijl de bijbehorende rekenkosten worden verminderd.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.