InfiniPot: Бесконечная обработка контекста на ограниченных по памяти LLM.

InfiniPot: Infinite Context Processing on Memory-Constrained LLMs

October 2, 2024

Авторы: Minsoo Kim, Kyuhong Shim, Jungwook Choi, Simyung Chang

cs.AI

Аннотация

Обработка длинных контекстов остается значительным вызовом для больших языковых моделей (LLM), особенно в условиях ограниченных ресурсов, таких как мобильные устройства. Наша работа направлена на решение этого ограничения путем представления InfiniPot, новой рамки управления кэшем KV, разработанной для обеспечения возможности предварительно обученным LLM эффективно управлять обширными последовательностями в пределах фиксированных ограничений памяти, без необходимости дополнительного обучения. InfiniPot использует Продолжающееся Сжатие Контекста (CCD), итеративный процесс, который сжимает и сохраняет важную информацию с помощью новых метрик важности, эффективно сохраняя критические данные даже без доступа к будущему контексту. Наши всесторонние оценки показывают, что InfiniPot значительно превосходит модели, обученные для длинных контекстов, в различных задачах обработки естественного языка, подтверждая его эффективность и универсальность. Эта работа представляет собой значительный прогресс в направлении сделать LLM применимыми к более широкому спектру реальных сценариев.

English

Handling long input contexts remains a significant challenge for Large Language Models (LLMs), particularly in resource-constrained environments such as mobile devices. Our work aims to address this limitation by introducing InfiniPot, a novel KV cache control framework designed to enable pre-trained LLMs to manage extensive sequences within fixed memory constraints efficiently, without requiring additional training. InfiniPot leverages Continual Context Distillation (CCD), an iterative process that compresses and retains essential information through novel importance metrics, effectively maintaining critical data even without access to future context. Our comprehensive evaluations indicate that InfiniPot significantly outperforms models trained for long contexts in various NLP tasks, establishing its efficacy and versatility. This work represents a substantial advancement toward making LLMs applicable to a broader range of real-world scenarios.