Il Tuo Agente Potrebbe Evolvere Male: Rischi Emergenti negli Agenti LLM Auto-evolutivi

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

September 30, 2025

Autori: Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

cs.AI

Abstract

I progressi nei Large Language Models (LLM) hanno reso possibile una nuova classe di agenti auto-evolutivi che migliorano autonomamente attraverso l'interazione con l'ambiente, dimostrando capacità notevoli. Tuttavia, l'auto-evoluzione introduce anche nuovi rischi trascurati dalla ricerca attuale sulla sicurezza. In questo lavoro, studiamo il caso in cui l'auto-evoluzione di un agente devia in modi non intenzionali, portando a risultati indesiderati o addirittura dannosi. Ci riferiamo a questo fenomeno come Misevoluzione. Per fornire un'indagine sistematica, valutiamo la misevoluzione lungo quattro percorsi evolutivi chiave: modello, memoria, strumento e flusso di lavoro. I nostri risultati empirici rivelano che la misevoluzione è un rischio diffuso, che colpisce anche agenti costruiti su LLM di alto livello (ad esempio, Gemini-2.5-Pro). Nel processo di auto-evoluzione si osservano diversi rischi emergenti, come il degrado dell'allineamento alla sicurezza dopo l'accumulo di memoria o l'introduzione involontaria di vulnerabilità nella creazione e nel riutilizzo degli strumenti. A nostra conoscenza, questo è il primo studio a concettualizzare sistematicamente la misevoluzione e a fornire prove empiriche della sua occorrenza, evidenziando l'urgente necessità di nuovi paradigmi di sicurezza per gli agenti auto-evolutivi. Infine, discutiamo potenziali strategie di mitigazione per ispirare ulteriori ricerche sulla costruzione di agenti auto-evolutivi più sicuri e affidabili. Il nostro codice e i dati sono disponibili all'indirizzo https://github.com/ShaoShuai0605/Misevolution. Avvertenza: questo articolo include esempi che potrebbero essere offensivi o dannosi.

English

Advances in Large Language Models (LLMs) have enabled a new class of self-evolving agents that autonomously improve through interaction with the environment, demonstrating strong capabilities. However, self-evolution also introduces novel risks overlooked by current safety research. In this work, we study the case where an agent's self-evolution deviates in unintended ways, leading to undesirable or even harmful outcomes. We refer to this as Misevolution. To provide a systematic investigation, we evaluate misevolution along four key evolutionary pathways: model, memory, tool, and workflow. Our empirical findings reveal that misevolution is a widespread risk, affecting agents built even on top-tier LLMs (e.g., Gemini-2.5-Pro). Different emergent risks are observed in the self-evolutionary process, such as the degradation of safety alignment after memory accumulation, or the unintended introduction of vulnerabilities in tool creation and reuse. To our knowledge, this is the first study to systematically conceptualize misevolution and provide empirical evidence of its occurrence, highlighting an urgent need for new safety paradigms for self-evolving agents. Finally, we discuss potential mitigation strategies to inspire further research on building safer and more trustworthy self-evolving agents. Our code and data are available at https://github.com/ShaoShuai0605/Misevolution . Warning: this paper includes examples that may be offensive or harmful in nature.