PEEK: Contextkaart als oriëntatiecache voor LLM-agenten met lange context

Samenvatting

Agenten van grote taalmodellen (LLM's) werken steeds vaker met lange en terugkerende externe contexten, zoals documentcorpora en coderepositories. Bij aanroepen behouden bestaande benaderingen ofwel het traject van de agent, passieve toegang tot ruw materiaal, of taakniveaustrategieën. Geen van hen behoudt wat volgens ons het meest nodig is voor herhaalde workloads in dezelfde context: herbruikbare oriëntatiekennis (bijv. wat de context bevat, hoe deze is georganiseerd, en welke entiteiten, constanten en schema's historisch nuttig zijn geweest) over de terugkerende context zelf. We introduceren PEEK, een systeem dat deze oriëntatiekennis cached en onderhoudt als een contextmap: een klein artefact van constante grootte in de prompt van de agent dat een aanhoudende blik in de externe context geeft. De map wordt onderhouden door een programmeerbaar cachebeleid met drie modules: een Distiller die overdraagbare kennis extraheert uit inferentietijdsignalen, een Cartographer die deze vertaalt naar gestructureerde bewerkingen, en een op prioriteit gebaseerde Evictor die een vast tokenbudget afdwingt. Bij redeneren over lange contexten en informatieaggregatie verbetert PEEK sterke baselines met 6,3–34,0%, terwijl het 93–145 minder iteraties gebruikt en 1,7–5,8× lagere kosten maakt dan het state-of-the-art prompt-leerframework ACE. Bij contextleren verbetert PEEK de oplossingsgraad en rubricnauwkeurigheid met respectievelijk 6,0–14,0% en 7,8–12,1%, tegen 1,4× lagere kosten dan ACE. Deze winsten generaliseren over LLM's en agentarchitecturen, waaronder OpenAI Codex, een productieklare codeeragent. Samen tonen deze resultaten aan dat een contextmap lang-context LLM-agenten helpt om nauwkeuriger en efficiënter te interageren met terugkerende externe contexten.

English

Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is most needed for repeated same-context workloads: reusable orientation knowledge (e.g., what the context contains, how it is organized, and which entities, constants, and schemas have historically been useful) about the recurring context itself. We introduce PEEK, a system that caches and maintains this orientation knowledge as a context map: a small, constant-sized artifact in the agent's prompt that gives it a persistent peek into the external context. The map is maintained by a programmable cache policy with three modules: a Distiller that extracts transferable knowledge from inference-time signals, a Cartographer that translates it into structured edits, and a priority-based Evictor that enforces a fixed token budget. On long-context reasoning and information aggregation, PEEK improves over strong baselines by 6.3-34.0% while using 93-145 fewer iterations and incurring 1.7-5.8x lower cost than the state-of-the-art prompt-learning framework, ACE. On context learning, PEEK improves solving rate and rubric accuracy by 6.0-14.0% and 7.8-12.1%, respectively, at 1.4x lower cost than ACE. These gains generalize across LMs and agent architectures, including OpenAI Codex, a production-grade coding agent. Together, these results show that a context map helps long-context LLM agents interact with recurring external contexts more accurately and efficiently.