Estensione della Finestra Contestuale dei Modelli Linguistici di Grande Scala tramite Compressione Semantica

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Autori: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) basati su Transformer spesso impongono limitazioni sulla lunghezza del testo in input per garantire la generazione di risposte fluenti e pertinenti. Questo vincolo ne limita l'applicabilità in scenari che coinvolgono testi lunghi. Proponiamo un nuovo metodo di compressione semantica che consente la generalizzazione a testi 6-8 volte più lunghi, senza comportare costi computazionali significativi o richiedere un fine-tuning. Il nostro framework si ispira alla codifica di sorgente nella teoria dell'informazione e utilizza un modello pre-addestrato per ridurre la ridondanza semantica degli input lunghi prima di passarli agli LLM per compiti downstream. I risultati sperimentali dimostrano che il nostro metodo estende efficacemente la finestra contestuale degli LLM in una gamma di compiti, tra cui risposta a domande, riassunto, apprendimento few-shot e recupero di informazioni. Inoltre, il metodo di compressione semantica proposto mostra una fluenza costante nella generazione del testo, riducendo al contempo il sovraccarico computazionale associato.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.