PEEK: Mapa de Contexto como Caché de Orientación para Agentes LLM de Contexto Largo

Resumen

Los agentes basados en modelos de lenguaje grande (LLM) operan cada vez más sobre contextos externos extensos y recurrentes, como corpus de documentos y repositorios de código. A lo largo de las invocaciones, los enfoques existentes preservan ya sea la trayectoria del agente, el acceso pasivo al material original o las estrategias a nivel de tarea. Ninguno de ellos conserva lo que consideramos más necesario para cargas de trabajo repetidas en el mismo contexto: conocimiento de orientación reutilizable (por ejemplo, qué contiene el contexto, cómo está organizado, y qué entidades, constantes y esquemas han sido históricamente útiles) sobre el propio contexto recurrente. Presentamos PEEK, un sistema que almacena en caché y mantiene este conocimiento de orientación como un mapa de contexto: un artefacto pequeño y de tamaño constante en la indicación del agente que le proporciona una visión persistente del contexto externo. El mapa se mantiene mediante una política de caché programable con tres módulos: un Destilador que extrae conocimiento transferible a partir de señales en tiempo de inferencia, un Cartógrafo que lo traduce en ediciones estructuradas y un Desalojador basado en prioridades que impone un presupuesto fijo de tokens. En tareas de razonamiento en contextos largos y agregación de información, PEEK mejora entre un 6.3% y un 34.0% respecto a líneas base sólidas, utilizando entre 93 y 145 iteraciones menos e incurriendo en un costo entre 1.7 y 5.8 veces menor que el marco de aprendizaje por indicaciones de última generación, ACE. En aprendizaje contextual, PEEK mejora la tasa de resolución y la precisión de rúbrica entre un 6.0-14.0% y un 7.8-12.1%, respectivamente, con un costo 1.4 veces menor que ACE. Estas mejoras se generalizan a distintos modelos de lenguaje y arquitecturas de agentes, incluyendo OpenAI Codex, un agente de codificación de nivel de producción. En conjunto, estos resultados demuestran que un mapa de contexto ayuda a los agentes LLM de contexto largo a interactuar con contextos externos recurrentes de manera más precisa y eficiente.

English

Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is most needed for repeated same-context workloads: reusable orientation knowledge (e.g., what the context contains, how it is organized, and which entities, constants, and schemas have historically been useful) about the recurring context itself. We introduce PEEK, a system that caches and maintains this orientation knowledge as a context map: a small, constant-sized artifact in the agent's prompt that gives it a persistent peek into the external context. The map is maintained by a programmable cache policy with three modules: a Distiller that extracts transferable knowledge from inference-time signals, a Cartographer that translates it into structured edits, and a priority-based Evictor that enforces a fixed token budget. On long-context reasoning and information aggregation, PEEK improves over strong baselines by 6.3-34.0% while using 93-145 fewer iterations and incurring 1.7-5.8x lower cost than the state-of-the-art prompt-learning framework, ACE. On context learning, PEEK improves solving rate and rubric accuracy by 6.0-14.0% and 7.8-12.1%, respectively, at 1.4x lower cost than ACE. These gains generalize across LMs and agent architectures, including OpenAI Codex, a production-grade coding agent. Together, these results show that a context map helps long-context LLM agents interact with recurring external contexts more accurately and efficiently.