PEEK: Kontextkarte als Orientierungscache für LLM-Agenten mit langem Kontext

Zusammenfassung

Agenten auf Basis großer Sprachmodelle (LLMs) operieren zunehmend über lange und wiederkehrende externe Kontexte wie Dokumentkorpusse und Code-Repositories. Bei wiederholten Aufrufen bewahren bestehende Ansätze entweder den Verlauf des Agenten, passiven Zugriff auf Rohmaterial oder aufgabenbezogene Strategien. Keiner von ihnen bewahrt das, was wir als am dringendsten für wiederholte, kontextgleiche Arbeitslasten erachten: wiederverwendbares Orientierungswissen (z. B. was der Kontext enthält, wie er organisiert ist und welche Entitäten, Konstanten und Schemata historisch nützlich waren) über den wiederkehrenden Kontext selbst. Wir stellen PEEK vor, ein System, das dieses Orientierungswissen als Kontextkarte zwischenspeichert und verwaltet: ein kleines, in der Größe konstantes Artefakt im Prompt des Agenten, das ihm einen beständigen Einblick in den externen Kontext gewährt. Die Karte wird durch eine programmierbare Cache-Richtlinie mit drei Modulen verwaltet: einem Distiller, der übertragbares Wissen aus Inferenzzeitsignalen extrahiert, einem Cartographer, der dieses Wissen in strukturierte Änderungen übersetzt, und einem prioritätsbasierten Evictor, der ein festes Tokenbudget durchsetzt. Bei langen Kontexten für Schlussfolgerungen und Informationsaggregation verbessert PEEK starke Basislinien um 6,3–34,0 %, benötigt dabei 93–145 weniger Iterationen und verursacht 1,7–5,8x geringere Kosten als das führende Prompt-Learning-Framework ACE. Beim Kontextlernen verbessert PEEK die Lösungsrate und die Rubrikgüte um 6,0–14,0 % bzw. 7,8–12,1 % bei 1,4x geringeren Kosten als ACE. Diese Verbesserungen generalisieren über verschiedene Sprachmodelle und Agentenarchitekturen, einschließlich OpenAI Codex, einem produktionsreifen Codierungsagenten. Zusammengenommen zeigen diese Ergebnisse, dass eine Kontextkarte LLM-Agenten mit langen Kontexten hilft, genauer und effizienter mit wiederkehrenden externen Kontexten zu interagieren.

English

Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is most needed for repeated same-context workloads: reusable orientation knowledge (e.g., what the context contains, how it is organized, and which entities, constants, and schemas have historically been useful) about the recurring context itself. We introduce PEEK, a system that caches and maintains this orientation knowledge as a context map: a small, constant-sized artifact in the agent's prompt that gives it a persistent peek into the external context. The map is maintained by a programmable cache policy with three modules: a Distiller that extracts transferable knowledge from inference-time signals, a Cartographer that translates it into structured edits, and a priority-based Evictor that enforces a fixed token budget. On long-context reasoning and information aggregation, PEEK improves over strong baselines by 6.3-34.0% while using 93-145 fewer iterations and incurring 1.7-5.8x lower cost than the state-of-the-art prompt-learning framework, ACE. On context learning, PEEK improves solving rate and rubric accuracy by 6.0-14.0% and 7.8-12.1%, respectively, at 1.4x lower cost than ACE. These gains generalize across LMs and agent architectures, including OpenAI Codex, a production-grade coding agent. Together, these results show that a context map helps long-context LLM agents interact with recurring external contexts more accurately and efficiently.