AgentSys: Agenti LLM Sicuri e Dinamici Tramite Gestione Esplicita della Memoria Gerarchica

AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management

February 7, 2026

Autori: Ruoyao Wen, Hao Li, Chaowei Xiao, Ning Zhang

cs.AI

Abstract

L'iniezione indiretta di prompt minaccia gli agenti LLM incorporando istruzioni malevole in contenuti esterni, consentendo azioni non autorizzate e furto di dati. Gli agenti LLM mantengono una memoria di lavoro attraverso la finestra contestuale, che memorizza la cronologia delle interazioni per il processo decisionale. Gli agenti convenzionali accumulano indiscriminatamente tutti gli output degli strumenti e le tracce di ragionamento in questa memoria, creando due vulnerabilità critiche: (1) le istruzioni iniettate persistono durante l'intero flusso di lavoro, concedendo agli attaccanti molteplici opportunità di manipolare il comportamento, e (2) i contenuti verbosi e non essenziali degradano le capacità decisionali. Le difese esistenti considerano la memoria gonfia come un dato di fatto e si concentrano sul mantenere la resilienza, piuttosto che ridurre l'accumulo non necessario per prevenire l'attacco. Presentiamo AgentSys, un framework che si difende dall'iniezione indiretta di prompt attraverso una gestione esplicita della memoria. Ispirandosi all'isolamento della memoria dei processi nei sistemi operativi, AgentSys organizza gli agenti gerarchicamente: un agente principale genera agenti worker per le chiamate agli strumenti, ciascuno in esecuzione in un contesto isolato e in grado di generare worker nidificati per i sottocompiti. I dati esterni e le tracce dei sottocompiti non entrano mai nella memoria dell'agente principale; solo i valori di ritorno convalidati da uno schema possono attraversare i confini tramite un parsing JSON deterministico. Le ablazioni mostrano che il solo isolamento riduce il successo degli attacchi al 2,19%, e l'aggiunta di un validatore/sanificatore migliora ulteriormente la difesa con controlli attivati da eventi, il cui sovraccarico scala con le operazioni piuttosto che con la lunghezza del contesto. Su AgentDojo e ASB, AgentSys raggiunge rispettivamente uno 0,78% e un 4,25% di successo degli attacchi, migliorando leggermente anche l'utilità in condizioni benigne rispetto ai baseline non difesi. Rimane robusto contro attaccanti adattivi e su molteplici modelli fondazionali, dimostrando che la gestione esplicita della memoria abilita architetture di agenti LLM dinamiche e sicure. Il nostro codice è disponibile all'indirizzo: https://github.com/ruoyaow/agentsys-memory.

English

Indirect prompt injection threatens LLM agents by embedding malicious instructions in external content, enabling unauthorized actions and data theft. LLM agents maintain working memory through their context window, which stores interaction history for decision-making. Conventional agents indiscriminately accumulate all tool outputs and reasoning traces in this memory, creating two critical vulnerabilities: (1) injected instructions persist throughout the workflow, granting attackers multiple opportunities to manipulate behavior, and (2) verbose, non-essential content degrades decision-making capabilities. Existing defenses treat bloated memory as given and focus on remaining resilient, rather than reducing unnecessary accumulation to prevent the attack. We present AgentSys, a framework that defends against indirect prompt injection through explicit memory management. Inspired by process memory isolation in operating systems, AgentSys organizes agents hierarchically: a main agent spawns worker agents for tool calls, each running in an isolated context and able to spawn nested workers for subtasks. External data and subtask traces never enter the main agent's memory; only schema-validated return values can cross boundaries through deterministic JSON parsing. Ablations show isolation alone cuts attack success to 2.19%, and adding a validator/sanitizer further improves defense with event-triggered checks whose overhead scales with operations rather than context length. On AgentDojo and ASB, AgentSys achieves 0.78% and 4.25% attack success while slightly improving benign utility over undefended baselines. It remains robust to adaptive attackers and across multiple foundation models, showing that explicit memory management enables secure, dynamic LLM agent architectures. Our code is available at: https://github.com/ruoyaow/agentsys-memory.