Seu Agente Pode Misevoluir: Riscos Emergentes em Agentes de LLM Autoevolutivos

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

September 30, 2025

Autores: Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

cs.AI

Resumo

Avanços nos Modelos de Linguagem de Grande Escala (LLMs) possibilitaram uma nova classe de agentes auto-evolutivos que melhoram autonomamente por meio da interação com o ambiente, demonstrando capacidades robustas. No entanto, a auto-evolução também introduz novos riscos negligenciados pelas pesquisas atuais de segurança. Neste trabalho, estudamos o caso em que a auto-evolução de um agente se desvia de maneiras não intencionais, levando a resultados indesejáveis ou até mesmo prejudiciais. Referimo-nos a isso como **Misevolução**. Para fornecer uma investigação sistemática, avaliamos a misevolução ao longo de quatro caminhos evolutivos principais: modelo, memória, ferramenta e fluxo de trabalho. Nossas descobertas empíricas revelam que a misevolução é um risco generalizado, afetando agentes construídos até mesmo sobre LLMs de ponta (por exemplo, Gemini-2.5-Pro). Diferentes riscos emergentes são observados no processo de auto-evolução, como a degradação do alinhamento de segurança após o acúmulo de memória ou a introdução não intencional de vulnerabilidades na criação e reutilização de ferramentas. Até onde sabemos, este é o primeiro estudo a conceituar sistematicamente a misevolução e fornecer evidências empíricas de sua ocorrência, destacando a necessidade urgente de novos paradigmas de segurança para agentes auto-evolutivos. Por fim, discutimos possíveis estratégias de mitigação para inspirar pesquisas futuras na construção de agentes auto-evolutivos mais seguros e confiáveis. Nosso código e dados estão disponíveis em https://github.com/ShaoShuai0605/Misevolution. **Aviso:** este artigo inclui exemplos que podem ser ofensivos ou prejudiciais.

English

Advances in Large Language Models (LLMs) have enabled a new class of self-evolving agents that autonomously improve through interaction with the environment, demonstrating strong capabilities. However, self-evolution also introduces novel risks overlooked by current safety research. In this work, we study the case where an agent's self-evolution deviates in unintended ways, leading to undesirable or even harmful outcomes. We refer to this as Misevolution. To provide a systematic investigation, we evaluate misevolution along four key evolutionary pathways: model, memory, tool, and workflow. Our empirical findings reveal that misevolution is a widespread risk, affecting agents built even on top-tier LLMs (e.g., Gemini-2.5-Pro). Different emergent risks are observed in the self-evolutionary process, such as the degradation of safety alignment after memory accumulation, or the unintended introduction of vulnerabilities in tool creation and reuse. To our knowledge, this is the first study to systematically conceptualize misevolution and provide empirical evidence of its occurrence, highlighting an urgent need for new safety paradigms for self-evolving agents. Finally, we discuss potential mitigation strategies to inspire further research on building safer and more trustworthy self-evolving agents. Our code and data are available at https://github.com/ShaoShuai0605/Misevolution . Warning: this paper includes examples that may be offensive or harmful in nature.