Ingegnerizzazione Contestuale Agente: Evoluzione dei Contesti per Modelli Linguistici Auto-Miglioranti

Abstract

Le applicazioni dei grandi modelli linguistici (LLM), come gli agenti e il ragionamento specifico per dominio, si basano sempre più sull'adattamento contestuale -- modificando gli input con istruzioni, strategie o evidenze, piuttosto che aggiornando i pesi. Gli approcci precedenti migliorano l'usabilità ma spesso soffrono di bias di brevità, che sacrificano approfondimenti di dominio per riassunti concisi, e di collasso contestuale, dove riscritture iterative erodono i dettagli nel tempo. Basandosi sulla memoria adattiva introdotta da Dynamic Cheatsheet, presentiamo ACE (Agentic Context Engineering), un framework che tratta i contesti come playbook in evoluzione che accumulano, affinano e organizzano strategie attraverso un processo modulare di generazione, riflessione e cura. ACE previene il collasso con aggiornamenti strutturati e incrementali che preservano conoscenze dettagliate e si adattano a modelli con contesti lunghi. Su benchmark di agenti e specifici per dominio, ACE ottimizza i contesti sia offline (ad esempio, prompt di sistema) che online (ad esempio, memoria dell'agente), superando costantemente baseline robuste: +10,6% sugli agenti e +8,6% in ambito finanziario, riducendo significativamente la latenza di adattamento e i costi di rollout. In particolare, ACE è stato in grado di adattarsi efficacemente senza supervisione etichettata, sfruttando invece feedback naturale di esecuzione. Nella classifica di AppWorld, ACE eguaglia l'agente di livello produttivo al primo posto nella media complessiva e lo supera nella divisione più difficile del test-challenge, nonostante utilizzi un modello open-source più piccolo. Questi risultati dimostrano che contesti completi ed evolutivi abilitano sistemi LLM scalabili, efficienti e auto-miglioranti con un basso overhead.

English

Large language model (LLM) applications such as agents and domain-specific reasoning increasingly rely on context adaptation -- modifying inputs with instructions, strategies, or evidence, rather than weight updates. Prior approaches improve usability but often suffer from brevity bias, which drops domain insights for concise summaries, and from context collapse, where iterative rewriting erodes details over time. Building on the adaptive memory introduced by Dynamic Cheatsheet, we introduce ACE (Agentic Context Engineering), a framework that treats contexts as evolving playbooks that accumulate, refine, and organize strategies through a modular process of generation, reflection, and curation. ACE prevents collapse with structured, incremental updates that preserve detailed knowledge and scale with long-context models. Across agent and domain-specific benchmarks, ACE optimizes contexts both offline (e.g., system prompts) and online (e.g., agent memory), consistently outperforming strong baselines: +10.6% on agents and +8.6% on finance, while significantly reducing adaptation latency and rollout cost. Notably, ACE could adapt effectively without labeled supervision and instead by leveraging natural execution feedback. On the AppWorld leaderboard, ACE matches the top-ranked production-level agent on the overall average and surpasses it on the harder test-challenge split, despite using a smaller open-source model. These results show that comprehensive, evolving contexts enable scalable, efficient, and self-improving LLM systems with low overhead.

Ingegnerizzazione Contestuale Agente: Evoluzione dei Contesti per Modelli Linguistici Auto-Miglioranti

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

Abstract

Support