InfiniPot: Procesamiento de Contexto Infinito en LLMs con Limitaciones de Memoria

InfiniPot: Infinite Context Processing on Memory-Constrained LLMs

October 2, 2024

Autores: Minsoo Kim, Kyuhong Shim, Jungwook Choi, Simyung Chang

cs.AI

Resumen

El manejo de contextos de entrada largos sigue siendo un desafío significativo para los Modelos de Lenguaje a Gran Escala (LLMs), especialmente en entornos con recursos limitados como dispositivos móviles. Nuestro trabajo tiene como objetivo abordar esta limitación mediante la introducción de InfiniPot, un nuevo marco de control de caché KV diseñado para permitir que los LLMs pre-entrenados gestionen secuencias extensas dentro de restricciones de memoria fijas de manera eficiente, sin necesidad de entrenamiento adicional. InfiniPot aprovecha la Destilación Continua de Contexto (CCD), un proceso iterativo que comprime y retiene información esencial a través de métricas de importancia novedosas, manteniendo de manera efectiva datos críticos incluso sin acceso al contexto futuro. Nuestras evaluaciones exhaustivas indican que InfiniPot supera significativamente a los modelos entrenados para contextos largos en diversas tareas de Procesamiento de Lenguaje Natural (NLP), estableciendo su eficacia y versatilidad. Este trabajo representa un avance sustancial hacia la aplicación de LLMs en una gama más amplia de escenarios del mundo real.

English

Handling long input contexts remains a significant challenge for Large Language Models (LLMs), particularly in resource-constrained environments such as mobile devices. Our work aims to address this limitation by introducing InfiniPot, a novel KV cache control framework designed to enable pre-trained LLMs to manage extensive sequences within fixed memory constraints efficiently, without requiring additional training. InfiniPot leverages Continual Context Distillation (CCD), an iterative process that compresses and retains essential information through novel importance metrics, effectively maintaining critical data even without access to future context. Our comprehensive evaluations indicate that InfiniPot significantly outperforms models trained for long contexts in various NLP tasks, establishing its efficacy and versatility. This work represents a substantial advancement toward making LLMs applicable to a broader range of real-world scenarios.