Ваш агент может мутировать: возникающие риски в саморазвивающихся агентах на основе языковых моделей

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

September 30, 2025

Авторы: Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

cs.AI

Аннотация

Достижения в области больших языковых моделей (LLM) позволили создать новый класс саморазвивающихся агентов, которые автономно совершенствуются через взаимодействие с окружающей средой, демонстрируя высокие возможности. Однако саморазвитие также влечет за собой новые риски, которые остаются незамеченными в современных исследованиях безопасности. В данной работе мы изучаем случай, когда саморазвитие агента отклоняется в непреднамеренных направлениях, приводя к нежелательным или даже вредным последствиям. Мы называем это явление **мизэволюцией**. Для систематического исследования мы оцениваем мизэволюцию по четырем ключевым эволюционным направлениям: модель, память, инструменты и рабочий процесс. Наши эмпирические результаты показывают, что мизэволюция представляет собой широко распространенный риск, затрагивающий даже агентов, построенных на основе передовых LLM (например, Gemini-2.5-Pro). В процессе саморазвития наблюдаются различные возникающие риски, такие как ухудшение безопасности после накопления памяти или непреднамеренное внедрение уязвимостей при создании и повторном использовании инструментов. Насколько нам известно, это первое исследование, которое систематически концептуализирует мизэволюцию и предоставляет эмпирические доказательства ее возникновения, подчеркивая острую необходимость в новых парадигмах безопасности для саморазвивающихся агентов. В заключение мы обсуждаем возможные стратегии смягчения рисков, чтобы вдохновить дальнейшие исследования в области создания более безопасных и надежных саморазвивающихся агентов. Наш код и данные доступны по адресу: https://github.com/ShaoShuai0605/Misevolution. **Предупреждение**: в статье содержатся примеры, которые могут быть оскорбительными или вредными по своей природе.

English

Advances in Large Language Models (LLMs) have enabled a new class of self-evolving agents that autonomously improve through interaction with the environment, demonstrating strong capabilities. However, self-evolution also introduces novel risks overlooked by current safety research. In this work, we study the case where an agent's self-evolution deviates in unintended ways, leading to undesirable or even harmful outcomes. We refer to this as Misevolution. To provide a systematic investigation, we evaluate misevolution along four key evolutionary pathways: model, memory, tool, and workflow. Our empirical findings reveal that misevolution is a widespread risk, affecting agents built even on top-tier LLMs (e.g., Gemini-2.5-Pro). Different emergent risks are observed in the self-evolutionary process, such as the degradation of safety alignment after memory accumulation, or the unintended introduction of vulnerabilities in tool creation and reuse. To our knowledge, this is the first study to systematically conceptualize misevolution and provide empirical evidence of its occurrence, highlighting an urgent need for new safety paradigms for self-evolving agents. Finally, we discuss potential mitigation strategies to inspire further research on building safer and more trustworthy self-evolving agents. Our code and data are available at https://github.com/ShaoShuai0605/Misevolution . Warning: this paper includes examples that may be offensive or harmful in nature.