AgentSys: Безопасные и динамические агенты LLM за счёт явного иерархического управления памятью
AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management
February 7, 2026
Авторы: Ruoyao Wen, Hao Li, Chaowei Xiao, Ning Zhang
cs.AI
Аннотация
Косвенная инъекция промптов угрожает LLM-агентам путем внедрения вредоносных инструкций во внешний контент, что позволяет выполнять несанкционированные действия и красть данные. LLM-агенты поддерживают рабочую память через контекстное окно, которое хранит историю взаимодействий для принятия решений. Традиционные агенты без разбора накапливают все выходные данные инструментов и трассировки рассуждений в этой памяти, создавая две критические уязвимости: (1) внедренные инструкции сохраняются на протяжении всего рабочего процесса, предоставляя злоумышленникам множество возможностей для манипуляции поведением, и (2) избыточный, несущественный контент ухудшает способность к принятию решений. Существующие средства защиты рассматривают раздутую память как данность и сосредоточены на устойчивости, а не на сокращении ненужного накопления для предотвращения атаки.
Мы представляем AgentSys — фреймворк, который защищает от косвенной инъекции промптов за счет явного управления памятью. Вдохновленные изоляцией памяти процессов в операционных системах, мы организуем агентов иерархически: главный агент порождает рабочие агенты для вызовов инструментов, каждый из которых выполняется в изолированном контексте и может порождать вложенные агенты для подзадач. Внешние данные и трассировки подзадач никогда не попадают в память главного агента; только проверенные по схеме возвращаемые значения могут пересекать границы через детерминированный JSON-парсинг. Абляционные исследования показывают, что одна только изоляция снижает успешность атак до 2,19%, а добавление валидатора/санитайзера дополнительно улучшает защиту за счет проверок, активируемых событиями, чьи накладные расходы масштабируются с операциями, а не с длиной контекста.
На AgentDojo и ASB AgentSys демонстрирует успешность атак 0,78% и 4,25% соответственно, при этом незначительно улучшая полезность в доброкачественных сценариях по сравнению с незащищенными базовыми вариантами. Фреймворк сохраняет устойчивость к адаптивным злоумышленникам и для различных базовых моделей, показывая, что явное управление памятью позволяет создавать безопасные и динамичные архитектуры LLM-агентов. Наш код доступен по адресу: https://github.com/ruoyaow/agentsys-memory.
English
Indirect prompt injection threatens LLM agents by embedding malicious instructions in external content, enabling unauthorized actions and data theft. LLM agents maintain working memory through their context window, which stores interaction history for decision-making. Conventional agents indiscriminately accumulate all tool outputs and reasoning traces in this memory, creating two critical vulnerabilities: (1) injected instructions persist throughout the workflow, granting attackers multiple opportunities to manipulate behavior, and (2) verbose, non-essential content degrades decision-making capabilities. Existing defenses treat bloated memory as given and focus on remaining resilient, rather than reducing unnecessary accumulation to prevent the attack.
We present AgentSys, a framework that defends against indirect prompt injection through explicit memory management. Inspired by process memory isolation in operating systems, AgentSys organizes agents hierarchically: a main agent spawns worker agents for tool calls, each running in an isolated context and able to spawn nested workers for subtasks. External data and subtask traces never enter the main agent's memory; only schema-validated return values can cross boundaries through deterministic JSON parsing. Ablations show isolation alone cuts attack success to 2.19%, and adding a validator/sanitizer further improves defense with event-triggered checks whose overhead scales with operations rather than context length.
On AgentDojo and ASB, AgentSys achieves 0.78% and 4.25% attack success while slightly improving benign utility over undefended baselines. It remains robust to adaptive attackers and across multiple foundation models, showing that explicit memory management enables secure, dynamic LLM agent architectures. Our code is available at: https://github.com/ruoyaow/agentsys-memory.