PEEK: Контекстная карта как ориентационный кэш для агентов LLM с длинным контекстом

Аннотация

Агенты на основе больших языковых моделей (БЯМ) всё чаще работают с длинными и повторяющимися внешними контекстами, такими как коллекции документов и репозитории кода. При многократных вызовах существующие подходы сохраняют либо траекторию агента, пассивный доступ к исходным материалам, либо стратегии на уровне задач. Ни один из них не сохраняет то, что, по нашему мнению, наиболее необходимо для повторяющихся рабочих нагрузок в одном и том же контексте: воспроизводимые ориентирующие знания о самом повторяющемся контексте (например, что он содержит, как организован, какие сущности, константы и схемы исторически оказывались полезными). Мы представляем PEEK — систему, которая кэширует и поддерживает эти ориентирующие знания в виде карты контекста: небольшого артефакта фиксированного размера в промпте агента, дающего ему постоянный «взгляд» на внешний контекст. Карта поддерживается программируемой политикой кэширования из трёх модулей: Дистиллятор, извлекающий переносимые знания из сигналов времени вывода; Картограф, преобразующий их в структурированные правки; и Вытеснитель, основанный на приоритетах и обеспечивающий соблюдение фиксированного токенового бюджета. В задачах рассуждения на длинном контексте и агрегации информации PEEK превосходит сильные базовые модели на 6,3–34,0%, используя при этом на 93–145 меньше итераций и в 1,7–5,8 раза снижая затраты по сравнению с современным фреймворком обучения на промптах ACE. В обучении контексту PEEK улучшает уровень решения задач и точность по рубрикам на 6,0–14,0% и 7,8–12,1% соответственно при затратах в 1,4 раза ниже, чем ACE. Эти улучшения обобщаются на различные языковые модели и архитектуры агентов, включая OpenAI Codex — производственного агента для кодирования. В совокупности эти результаты показывают, что карта контекста помогает агентам БЯМ при работе с длинным контекстом точнее и эффективнее взаимодействовать с повторяющимися внешними контекстами.

English

Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is most needed for repeated same-context workloads: reusable orientation knowledge (e.g., what the context contains, how it is organized, and which entities, constants, and schemas have historically been useful) about the recurring context itself. We introduce PEEK, a system that caches and maintains this orientation knowledge as a context map: a small, constant-sized artifact in the agent's prompt that gives it a persistent peek into the external context. The map is maintained by a programmable cache policy with three modules: a Distiller that extracts transferable knowledge from inference-time signals, a Cartographer that translates it into structured edits, and a priority-based Evictor that enforces a fixed token budget. On long-context reasoning and information aggregation, PEEK improves over strong baselines by 6.3-34.0% while using 93-145 fewer iterations and incurring 1.7-5.8x lower cost than the state-of-the-art prompt-learning framework, ACE. On context learning, PEEK improves solving rate and rubric accuracy by 6.0-14.0% and 7.8-12.1%, respectively, at 1.4x lower cost than ACE. These gains generalize across LMs and agent architectures, including OpenAI Codex, a production-grade coding agent. Together, these results show that a context map helps long-context LLM agents interact with recurring external contexts more accurately and efficiently.