Extendendo a Janela de Contexto de Modelos de Linguagem de Grande Escala por meio de Compressão Semântica

Extending Context Window of Large Language Models via Semantic Compression

December 15, 2023

Autores: Weizhi Fei, Xueyan Niu, Pingyi Zhou, Lu Hou, Bo Bai, Lei Deng, Wei Han

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformers frequentemente impõem limitações no comprimento do texto de entrada para garantir a geração de respostas fluentes e relevantes. Essa restrição limita sua aplicabilidade em cenários que envolvem textos longos. Propomos um novo método de compressão semântica que permite a generalização para textos 6 a 8 vezes mais longos, sem incorrer em custos computacionais significativos ou exigir ajuste fino. Nosso framework proposto se inspira na codificação de fontes da teoria da informação e emprega um modelo pré-treinado para reduzir a redundância semântica de entradas longas antes de passá-las aos LLMs para tarefas subsequentes. Resultados experimentais demonstram que nosso método estende efetivamente a janela de contexto dos LLMs em uma variedade de tarefas, incluindo resposta a perguntas, sumarização, aprendizado com poucos exemplos e recuperação de informações. Além disso, o método de compressão semântica proposto exibe fluência consistente na geração de textos enquanto reduz a sobrecarga computacional associada.

English

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.