Agentische Context Engineering: Evolving Contexts voor Zelfverbeterende Taalmodellen

Samenvatting

Toepassingen van grote taalmodellen (LLM's), zoals agents en domeinspecifiek redeneren, vertrouwen steeds meer op contextaanpassing — het aanpassen van invoer met instructies, strategieën of bewijs, in plaats van gewichtsaanpassingen. Eerdere benaderingen verbeteren de bruikbaarheid, maar lijden vaak aan beknoptheidsbias, waarbij domeininzichten worden opgeofferd voor beknopte samenvattingen, en aan contextcollaps, waarbij iteratief herschrijven details in de loop van de tijd doet vervagen. Voortbouwend op het adaptieve geheugen geïntroduceerd door Dynamic Cheatsheet, introduceren we ACE (Agentic Context Engineering), een raamwerk dat contexten behandelt als evoluerende playbooks die strategieën accumuleren, verfijnen en organiseren via een modulair proces van generatie, reflectie en curatie. ACE voorkomt collaps met gestructureerde, incrementele updates die gedetailleerde kennis behouden en schalen met lang-contextmodellen. Over benchmarks voor agents en domeinspecifieke taken optimaliseert ACE contexten zowel offline (bijv. systeemprompts) als online (bijv. agentgeheugen), en presteert consequent beter dan sterke baselines: +10,6% op agents en +8,6% op financiële taken, terwijl het de aanpassingslatentie en implementatiekosten aanzienlijk reduceert. Opmerkelijk is dat ACE effectief kon aanpassen zonder gelabelde supervisie, maar door natuurlijke uitvoeringsfeedback te benutten. Op de AppWorld-leaderboard evenaart ACE de top-ranked productie-agent op het algemene gemiddelde en overtreft deze op de moeilijkere test-challenge-splitsing, ondanks het gebruik van een kleiner open-source model. Deze resultaten tonen aan dat uitgebreide, evoluerende contexten schaalbare, efficiënte en zelfverbeterende LLM-systemen mogelijk maken met lage overhead.

English

Large language model (LLM) applications such as agents and domain-specific reasoning increasingly rely on context adaptation -- modifying inputs with instructions, strategies, or evidence, rather than weight updates. Prior approaches improve usability but often suffer from brevity bias, which drops domain insights for concise summaries, and from context collapse, where iterative rewriting erodes details over time. Building on the adaptive memory introduced by Dynamic Cheatsheet, we introduce ACE (Agentic Context Engineering), a framework that treats contexts as evolving playbooks that accumulate, refine, and organize strategies through a modular process of generation, reflection, and curation. ACE prevents collapse with structured, incremental updates that preserve detailed knowledge and scale with long-context models. Across agent and domain-specific benchmarks, ACE optimizes contexts both offline (e.g., system prompts) and online (e.g., agent memory), consistently outperforming strong baselines: +10.6% on agents and +8.6% on finance, while significantly reducing adaptation latency and rollout cost. Notably, ACE could adapt effectively without labeled supervision and instead by leveraging natural execution feedback. On the AppWorld leaderboard, ACE matches the top-ranked production-level agent on the overall average and surpasses it on the harder test-challenge split, despite using a smaller open-source model. These results show that comprehensive, evolving contexts enable scalable, efficient, and self-improving LLM systems with low overhead.

Agentische Context Engineering: Evolving Contexts voor Zelfverbeterende Taalmodellen

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

Samenvatting

Support