AgentSys: Veilige en Dynamische LLM-Agents door Expliciet Hiërarchisch Geheugenbeheer

AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management

February 7, 2026

Auteurs: Ruoyao Wen, Hao Li, Chaowei Xiao, Ning Zhang

cs.AI

Samenvatting

Indirecte prompt-injectie vormt een bedreiging voor LLM-agenten door kwaadaardige instructies in externe content in te bedden, waardoor onbevoegde acties en datadiefstal mogelijk worden. LLM-agenten onderhouden een werkgeheugen via hun contextvenster, dat de interactiegeschiedenis opslaat voor besluitvorming. Conventionele agenten accumuleren alle tool-uitvoer en redeneersporen ongereguleerd in dit geheugen, wat twee kritieke kwetsbaarheden creëert: (1) geïnjecteerde instructies blijven gedurende de hele workflow aanwezig, waardoor aanvallers meerdere kansen krijgen om gedrag te manipuleren, en (2) uitgebreide, niet-essentiële content verslechtert de besluitvormingscapaciteiten. Bestaande verdedigingen behandelen opgeblazen geheugen als gegeven en richten zich op veerkracht, in plaats van onnodige accumulatie te verminderen om de aanval te voorkomen. Wij presenteren AgentSys, een framework dat beschermt tegen indirecte prompt-injectie via expliciet geheugenbeheer. Geïnspireerd door procesgeheugenisolatie in besturingssystemen, organiseert AgentSys agenten hiërarchisch: een hoofdagent start werknemer-agenten voor toolaanroepen, elk uitgevoerd in een geïsoleerde context en in staat geneste werknemers voor subtaken te starten. Externe data en subtraces komen nooit in het geheugen van de hoofdagent; alleen schema-gevalideerde retourwaarden kunnen grenzen overschrijden via deterministische JSON-parsing. Ablatiestudies tonen aan dat isolatie alleen de aanvalssuccesreduceert tot 2,19%, en het toevoegen van een validator/sanitizer verbetert de verdediging verder met gebeurtenis-gestuurde controles waarvan de overhead meeschaalt met operaties in plaats van contextlengte. Op AgentDojo en ASB behaalt AgentSys een aanvalssucces van respectievelijk 0,78% en 4,25% terwijl het de functionele bruikbaarheid licht verbetert ten opzichte van onbeschermde baselines. Het blijft robuust tegen adaptieve aanvallers en over meerdere foundation-modellen, wat aantoont dat expliciet geheugenbeheer veilige, dynamische LLM-agentarchitecturen mogelijk maakt. Onze code is beschikbaar op: https://github.com/ruoyaow/agentsys-memory.

English

Indirect prompt injection threatens LLM agents by embedding malicious instructions in external content, enabling unauthorized actions and data theft. LLM agents maintain working memory through their context window, which stores interaction history for decision-making. Conventional agents indiscriminately accumulate all tool outputs and reasoning traces in this memory, creating two critical vulnerabilities: (1) injected instructions persist throughout the workflow, granting attackers multiple opportunities to manipulate behavior, and (2) verbose, non-essential content degrades decision-making capabilities. Existing defenses treat bloated memory as given and focus on remaining resilient, rather than reducing unnecessary accumulation to prevent the attack. We present AgentSys, a framework that defends against indirect prompt injection through explicit memory management. Inspired by process memory isolation in operating systems, AgentSys organizes agents hierarchically: a main agent spawns worker agents for tool calls, each running in an isolated context and able to spawn nested workers for subtasks. External data and subtask traces never enter the main agent's memory; only schema-validated return values can cross boundaries through deterministic JSON parsing. Ablations show isolation alone cuts attack success to 2.19%, and adding a validator/sanitizer further improves defense with event-triggered checks whose overhead scales with operations rather than context length. On AgentDojo and ASB, AgentSys achieves 0.78% and 4.25% attack success while slightly improving benign utility over undefended baselines. It remains robust to adaptive attackers and across multiple foundation models, showing that explicit memory management enables secure, dynamic LLM agent architectures. Our code is available at: https://github.com/ruoyaow/agentsys-memory.