Addestramento di Agenti LLM per l’Auto-evoluzione Spontanea e Senza Ricompense tramite Esplorazione della Conoscenza Mondiale
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Autori: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Abstract
La maggior parte degli agenti odierni si "auto-evolve" seguendo ricompense e regole definite dall'uomo. Tuttavia, questo processo rimane fondamentalmente dipendente dalla supervisione esterna; senza la guida umana, l'evoluzione si arresta. In questo lavoro, addestriamo agenti a possedere un'intrinseca capacità di meta-evoluzione per apprendere spontaneamente informazioni su ambienti non visti prima dell'esecuzione del compito.
Per infondere questa abilità, progettiamo un meccanismo di ricompensa basato sui risultati che misura quanto la conoscenza del mondo auto-generata da un agente migliora la sua percentuale di successo nei compiti successivi. Questo segnale di ricompensa viene utilizzato esclusivamente durante la fase di addestramento per insegnare al modello come esplorare e riassumere efficacemente. Al momento dell'inferenza, l'agente non richiede ricompense esterne o istruzioni umane. Esegue spontaneamente un'auto-evoluzione nativa per adattarsi ad ambienti sconosciuti utilizzando i suoi parametri interni.
Applicato a Qwen3-30B e Seed-OSS-36B, questo passaggio all'evoluzione nativa produce un aumento delle prestazioni del 20% su WebVoyager e WebWalker. Ancora più significativo, la conoscenza del mondo generata consente persino a un compatto modello Qwen3 da 14B di superare il Gemini-2.5-Flash non assistito, stabilendo un nuovo paradigma per agenti veramente evolutivi.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.