Extensión de la Ventana de Contexto en Modelos de Lenguaje de Gran Escala mediante Compresión Semántica

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Autores: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) basados en Transformers suelen imponer limitaciones en la longitud del texto de entrada para garantizar la generación de respuestas fluidas y relevantes. Esta restricción limita su aplicabilidad en escenarios que involucran textos extensos. Proponemos un novedoso método de compresión semántica que permite generalizar a textos 6-8 veces más largos, sin incurrir en costos computacionales significativos ni requerir ajustes finos. Nuestro marco propuesto se inspira en la codificación de fuentes de la teoría de la información y emplea un modelo preentrenado para reducir la redundancia semántica de entradas largas antes de pasarlas a los LLMs para tareas posteriores. Los resultados experimentales demuestran que nuestro método extiende efectivamente la ventana de contexto de los LLMs en una variedad de tareas, incluyendo respuesta a preguntas, resumen, aprendizaje con pocos ejemplos y recuperación de información. Además, el método de compresión semántica propuesto muestra una fluidez consistente en la generación de texto mientras reduce la sobrecarga computacional asociada.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.