PEEK: Mapa de Contexto como Cache de Orientação para Agentes LLM de Contexto Longo

Resumo

Agentes de modelos de linguagem de grande porte (LLMs) operam cada vez mais em contextos externos longos e recorrentes, como corpora documentais e repositórios de código. Entre invocações, as abordagens existentes preservam ou a trajetória do agente, o acesso passivo ao material bruto, ou estratégias em nível de tarefa. Nenhuma delas preserva o que argumentamos ser mais necessário para cargas de trabalho repetidas no mesmo contexto: conhecimento de orientação reutilizável (por exemplo, o que o contexto contém, como está organizado e quais entidades, constantes e esquemas foram historicamente úteis) sobre o próprio contexto recorrente. Apresentamos o PEEK, um sistema que armazena em cache e mantém esse conhecimento de orientação como um mapa de contexto: um artefato pequeno e de tamanho constante no prompt do agente que lhe dá um vislumbre persistente do contexto externo. O mapa é mantido por uma política de cache programável com três módulos: um Destilador que extrai conhecimento transferível de sinais de inferência, um Cartógrafo que o traduz em edições estruturadas e um Evictor baseado em prioridade que impõe um orçamento fixo de tokens. Em raciocínio de contexto longo e agregação de informações, o PEEK melhora em 6,3–34,0% em relação a linhas de base fortes, enquanto usa 93–145 iterações a menos e incorre em custos 1,7–5,8x menores do que o framework state-of-the-art de aprendizado de prompts, ACE. Em aprendizado de contexto, o PEEK melhora a taxa de resolução e a precisão da rubrica em 6,0–14,0% e 7,8–12,1%, respectivamente, com custo 1,4x menor que o ACE. Esses ganhos generalizam-se entre LMs e arquiteturas de agentes, incluindo o OpenAI Codex, um agente de codificação de nível de produção. Em conjunto, esses resultados mostram que um mapa de contexto ajuda agentes LLM de contexto longo a interagir com contextos externos recorrentes de forma mais precisa e eficiente.

English

Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is most needed for repeated same-context workloads: reusable orientation knowledge (e.g., what the context contains, how it is organized, and which entities, constants, and schemas have historically been useful) about the recurring context itself. We introduce PEEK, a system that caches and maintains this orientation knowledge as a context map: a small, constant-sized artifact in the agent's prompt that gives it a persistent peek into the external context. The map is maintained by a programmable cache policy with three modules: a Distiller that extracts transferable knowledge from inference-time signals, a Cartographer that translates it into structured edits, and a priority-based Evictor that enforces a fixed token budget. On long-context reasoning and information aggregation, PEEK improves over strong baselines by 6.3-34.0% while using 93-145 fewer iterations and incurring 1.7-5.8x lower cost than the state-of-the-art prompt-learning framework, ACE. On context learning, PEEK improves solving rate and rubric accuracy by 6.0-14.0% and 7.8-12.1%, respectively, at 1.4x lower cost than ACE. These gains generalize across LMs and agent architectures, including OpenAI Codex, a production-grade coding agent. Together, these results show that a context map helps long-context LLM agents interact with recurring external contexts more accurately and efficiently.