InfiniPot: Oneindige Contextverwerking op Geheugenbeperkte LLM's

InfiniPot: Infinite Context Processing on Memory-Constrained LLMs

October 2, 2024

Auteurs: Minsoo Kim, Kyuhong Shim, Jungwook Choi, Simyung Chang

cs.AI

Samenvatting

Het omgaan met lange invoercontexten blijft een aanzienlijke uitdaging voor Grote Taalmodellen (LLMs), met name in omgevingen met beperkte middelen zoals mobiele apparaten. Ons werk heeft tot doel deze beperking aan te pakken door InfiniPot te introduceren, een nieuw KV-cachebeheersysteem dat is ontworpen om vooraf getrainde LLMs in staat te stellen uitgebreide sequenties binnen vaste geheugenbeperkingen efficiënt te beheren, zonder dat er extra training nodig is. InfiniPot maakt gebruik van Continual Context Distillation (CCD), een iteratief proces dat essentiële informatie comprimeert en behoudt door middel van nieuwe belangrijkheidsmetrieken, waarbij kritieke gegevens effectief worden behouden zelfs zonder toegang tot toekomstige context. Onze uitgebreide evaluaties tonen aan dat InfiniPot aanzienlijk beter presteert dan modellen die zijn getraind voor lange contexten in verschillende NLP-taken, waarmee de doeltreffendheid en veelzijdigheid ervan worden vastgesteld. Dit werk vertegenwoordigt een aanzienlijke vooruitgang om LLMs toepasbaar te maken in een breder scala van real-world scenario's.

English

Handling long input contexts remains a significant challenge for Large Language Models (LLMs), particularly in resource-constrained environments such as mobile devices. Our work aims to address this limitation by introducing InfiniPot, a novel KV cache control framework designed to enable pre-trained LLMs to manage extensive sequences within fixed memory constraints efficiently, without requiring additional training. InfiniPot leverages Continual Context Distillation (CCD), an iterative process that compresses and retains essential information through novel importance metrics, effectively maintaining critical data even without access to future context. Our comprehensive evaluations indicate that InfiniPot significantly outperforms models trained for long contexts in various NLP tasks, establishing its efficacy and versatility. This work represents a substantial advancement toward making LLMs applicable to a broader range of real-world scenarios.