InfiniPot: Processamento de Contexto Infinito em LLMs com Restrição de Memória

InfiniPot: Infinite Context Processing on Memory-Constrained LLMs

October 2, 2024

Autores: Minsoo Kim, Kyuhong Shim, Jungwook Choi, Simyung Chang

cs.AI

Resumo

Lidar com contextos de entrada longos continua a ser um desafio significativo para Modelos de Linguagem de Grande Escala (LLMs), especialmente em ambientes com recursos limitados, como dispositivos móveis. Nosso trabalho tem como objetivo abordar essa limitação ao introduzir o InfiniPot, um novo framework de controle de cache KV projetado para permitir que LLMs pré-treinados gerenciem sequências extensas dentro de restrições de memória fixas de forma eficiente, sem exigir treinamento adicional. O InfiniPot aproveita a Destilação Contínua de Contexto (CCD), um processo iterativo que comprime e retém informações essenciais por meio de métricas de importância inovadoras, mantendo efetivamente dados críticos mesmo sem acesso ao contexto futuro. Nossas avaliações abrangentes indicam que o InfiniPot supera significativamente modelos treinados para contextos longos em várias tarefas de PNL, estabelecendo sua eficácia e versatilidade. Este trabalho representa um avanço substancial para tornar os LLMs aplicáveis a uma gama mais ampla de cenários do mundo real.

English

Handling long input contexts remains a significant challenge for Large Language Models (LLMs), particularly in resource-constrained environments such as mobile devices. Our work aims to address this limitation by introducing InfiniPot, a novel KV cache control framework designed to enable pre-trained LLMs to manage extensive sequences within fixed memory constraints efficiently, without requiring additional training. InfiniPot leverages Continual Context Distillation (CCD), an iterative process that compresses and retains essential information through novel importance metrics, effectively maintaining critical data even without access to future context. Our comprehensive evaluations indicate that InfiniPot significantly outperforms models trained for long contexts in various NLP tasks, establishing its efficacy and versatility. This work represents a substantial advancement toward making LLMs applicable to a broader range of real-world scenarios.