InfiniPot : Traitement de Contexte Infini sur des LLMs à Mémoire Limitée

InfiniPot: Infinite Context Processing on Memory-Constrained LLMs

October 2, 2024

Auteurs: Minsoo Kim, Kyuhong Shim, Jungwook Choi, Simyung Chang

cs.AI

Résumé

La gestion de longs contextes d'entrée reste un défi majeur pour les Grands Modèles de Langage (GML), en particulier dans des environnements aux ressources limitées tels que les appareils mobiles. Notre travail vise à résoudre cette limitation en introduisant InfiniPot, un nouveau cadre de contrôle de cache KV conçu pour permettre aux GML pré-entraînés de gérer efficacement des séquences étendues dans des contraintes de mémoire fixes, sans nécessiter de formation supplémentaire. InfiniPot exploite la Distillation de Contexte Continue (DCC), un processus itératif qui compresse et conserve les informations essentielles grâce à de nouvelles métriques d'importance, maintenant efficacement les données critiques même sans accès au contexte futur. Nos évaluations approfondies indiquent qu'InfiniPot surpasse significativement les modèles entraînés pour de longs contextes dans diverses tâches de TALN, établissant ainsi son efficacité et sa polyvalence. Ce travail représente une avancée substantielle vers la rendant les GML applicables à un éventail plus large de scénarios du monde réel.

English

Handling long input contexts remains a significant challenge for Large Language Models (LLMs), particularly in resource-constrained environments such as mobile devices. Our work aims to address this limitation by introducing InfiniPot, a novel KV cache control framework designed to enable pre-trained LLMs to manage extensive sequences within fixed memory constraints efficiently, without requiring additional training. InfiniPot leverages Continual Context Distillation (CCD), an iterative process that compresses and retains essential information through novel importance metrics, effectively maintaining critical data even without access to future context. Our comprehensive evaluations indicate that InfiniPot significantly outperforms models trained for long contexts in various NLP tasks, establishing its efficacy and versatility. This work represents a substantial advancement toward making LLMs applicable to a broader range of real-world scenarios.