Kontext-Memorisierung für effiziente Langkontext-Generierung

Zusammenfassung

Moderne Anwendungen großer Sprachmodelle (LLM) verlassen sich zunehmend auf lange Konditionierungspräfixe, um das Modellverhalten zur Inferenzzeit zu steuern. Obwohl die präfixgestützte Inferenz effektiv ist, weist sie zwei strukturelle Einschränkungen auf: i) der Einfluss des Präfixes lässt mit fortschreitender Generierung nach, und ii) die Aufmerksamkeitsberechnung über das Präfix skaliert linear mit seiner Länge. Bestehende Ansätze behalten das Präfix entweder in der Aufmerksamkeit bei, während sie es komprimieren, oder verinnerlichen es durch gradientenbasiertes Training in die Modellparameter. Ersteres wendet zur Inferenz weiterhin Aufmerksamkeit auf das Präfix an, während Letzteres trainingsintensiv und für Präfixaktualisierungen ungeeignet ist. Um diese Probleme zu lösen, schlagen wir Attention-State-Memory vor, einen trainingsfreien Ansatz, der das Präfix in einen leichten, nachschlagebasierten Speicher vorberechneter Aufmerksamkeitszustände zwischen Präfix- und Abfrage-Token externalisiert. Auf ManyICLBench mit LLaMA-3.1-8B verbessert unsere Methode die Genauigkeit gegenüber In-Context-Learning bei Speicherbudgets von 1K–8K, während sie die Aufmerksamkeitslatenz bei 8K um das 1,36-fache reduziert, und übertrifft die Full-Attention-RAG-Leistung auf dem NBA-Benchmark mit nur 20 % ihres Speicherbedarfs.

English

Modern large language model (LLM) applications increasingly rely on long conditioning prefixes to control model behavior at inference time. While prefix-augmented inference is effective, it incurs two structural limitations: i) the prefix's influence fades as generation proceeds, and ii) attention computation over the prefix scales linearly with its length. Existing approaches either keep the prefix in attention while compressing it, or internalize it into model parameters through gradient-based training. The former still attends to the prefix at inference, while the latter is training-intensive and ill-suited to prefix updates. To address these issues, we propose attention-state memory, a training-free approach that externalizes the prefix into a lightweight, lookup-based memory of precomputed attention states between prefix and query tokens. On ManyICLBench with LLaMA-3.1-8B, our method improves accuracy over in-context learning at 1K-8K memory budgets while reducing attention latency by 1.36x at 8K, and surpasses full-attention RAG performance on NBA benchmark using only 20% of its memory footprint.