Extension de la fenêtre contextuelle des grands modèles de langage via la compression sémantique

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Auteurs: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) basés sur l'architecture Transformer imposent souvent des limitations sur la longueur des textes en entrée afin de garantir la génération de réponses fluides et pertinentes. Cette contrainte restreint leur applicabilité dans des scénarios impliquant des textes longs. Nous proposons une nouvelle méthode de compression sémantique qui permet une généralisation à des textes 6 à 8 fois plus longs, sans engendrer de coûts computationnels significatifs ni nécessiter de réentraînement. Notre cadre proposé s'inspire du codage de source en théorie de l'information et utilise un modèle pré-entraîné pour réduire la redondance sémantique des entrées longues avant de les transmettre aux LLMs pour des tâches en aval. Les résultats expérimentaux montrent que notre méthode étend efficacement la fenêtre contextuelle des LLMs pour une gamme de tâches incluant la réponse à des questions, la synthèse, l'apprentissage en few-shot et la recherche d'information. De plus, la méthode de compression sémantique proposée maintient une fluidité constante dans la génération de texte tout en réduisant la surcharge computationnelle associée.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.