Инженерное проектирование агентного контекста: эволюция контекстов для самообучающихся языковых моделей

Аннотация

Приложения больших языковых моделей (LLM), такие как агенты и предметно-ориентированные рассуждения, всё чаще полагаются на адаптацию контекста — модификацию входных данных с помощью инструкций, стратегий или доказательств, а не обновления весов. Предыдущие подходы улучшают удобство использования, но часто страдают от предвзятости краткости, которая жертвует предметными инсайтами ради сжатых резюме, и от коллапса контекста, где итеративное переписывание постепенно стирает детали. Основываясь на адаптивной памяти, представленной в Dynamic Cheatsheet, мы представляем ACE (Agentic Context Engineering) — фреймворк, который рассматривает контексты как развивающиеся плейбуки, которые накапливают, уточняют и организуют стратегии через модульный процесс генерации, рефлексии и курирования. ACE предотвращает коллапс с помощью структурированных, инкрементных обновлений, сохраняющих детальные знания и масштабируемых с моделями длинного контекста. На тестах для агентов и предметно-ориентированных задач ACE оптимизирует контексты как оффлайн (например, системные подсказки), так и онлайн (например, память агента), стабильно превосходя сильные базовые подходы: +10,6% для агентов и +8,6% для финансов, при этом значительно снижая задержку адаптации и стоимость развертывания. Примечательно, что ACE эффективно адаптируется без помеченного надзора, используя естественную обратную связь от выполнения. На лидерборде AppWorld ACE соответствует топовому производственному агенту по общему среднему показателю и превосходит его на более сложном тестовом разделе, несмотря на использование меньшей открытой модели. Эти результаты показывают, что комплексные, развивающиеся контексты позволяют создавать масштабируемые, эффективные и самосовершенствующиеся системы LLM с низкими накладными расходами.

English

Large language model (LLM) applications such as agents and domain-specific reasoning increasingly rely on context adaptation -- modifying inputs with instructions, strategies, or evidence, rather than weight updates. Prior approaches improve usability but often suffer from brevity bias, which drops domain insights for concise summaries, and from context collapse, where iterative rewriting erodes details over time. Building on the adaptive memory introduced by Dynamic Cheatsheet, we introduce ACE (Agentic Context Engineering), a framework that treats contexts as evolving playbooks that accumulate, refine, and organize strategies through a modular process of generation, reflection, and curation. ACE prevents collapse with structured, incremental updates that preserve detailed knowledge and scale with long-context models. Across agent and domain-specific benchmarks, ACE optimizes contexts both offline (e.g., system prompts) and online (e.g., agent memory), consistently outperforming strong baselines: +10.6% on agents and +8.6% on finance, while significantly reducing adaptation latency and rollout cost. Notably, ACE could adapt effectively without labeled supervision and instead by leveraging natural execution feedback. On the AppWorld leaderboard, ACE matches the top-ranked production-level agent on the overall average and surpasses it on the harder test-challenge split, despite using a smaller open-source model. These results show that comprehensive, evolving contexts enable scalable, efficient, and self-improving LLM systems with low overhead.

Инженерное проектирование агентного контекста: эволюция контекстов для самообучающихся языковых моделей

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

Аннотация

Support