Contextmemorisatie voor Efficiënte Langecontextgeneratie

Samenvatting

Moderne toepassingen van grote taalmodellen (LLM's) vertrouwen steeds vaker op lange conditioneringsprefixen om modelgedrag tijdens inferentie te sturen. Hoewel prefix-versterkte inferentie effectief is, brengt het twee structurele beperkingen met zich mee: i) de invloed van het prefix neemt af naarmate de generatie vordert, en ii) de aandachtsberekening over het prefix schaalt lineair met de lengte ervan. Bestaande benaderingen houden het prefix ofwel in de aandacht terwijl ze het comprimeren, ofwel internaliseren ze het in modelparameters via gradiëntgebaseerde training. De eerste benadering besteedt nog steeds aandacht aan het prefix tijdens inferentie, terwijl de laatste trainingsintensief is en ongeschikt voor prefix-updates. Om deze problemen aan te pakken, stellen we attention-state memory voor, een trainingvrije benadering die het prefix externaliseert naar een lichtgewicht, opzoekgebaseerd geheugen van voorberekende aandachtstoestanden tussen prefix- en querytokens. Op ManyICLBench met LLaMA-3.1-8B verbetert onze methode de nauwkeurigheid ten opzichte van in-context leren bij geheugenbudgetten van 1K-8K, terwijl de aandachtslatentie met 1,36x wordt verminderd bij 8K, en overtreft het de volledige-aandacht-RAG-prestaties op de NBA-benchmark met slechts 20% van de geheugenvoetafdruk.

English

Modern large language model (LLM) applications increasingly rely on long conditioning prefixes to control model behavior at inference time. While prefix-augmented inference is effective, it incurs two structural limitations: i) the prefix's influence fades as generation proceeds, and ii) attention computation over the prefix scales linearly with its length. Existing approaches either keep the prefix in attention while compressing it, or internalize it into model parameters through gradient-based training. The former still attends to the prefix at inference, while the latter is training-intensive and ill-suited to prefix updates. To address these issues, we propose attention-state memory, a training-free approach that externalizes the prefix into a lightweight, lookup-based memory of precomputed attention states between prefix and query tokens. On ManyICLBench with LLaMA-3.1-8B, our method improves accuracy over in-context learning at 1K-8K memory budgets while reducing attention latency by 1.36x at 8K, and surpasses full-attention RAG performance on NBA benchmark using only 20% of its memory footprint.