Entraînement d’agents LLM à une auto-évolution spontanée et sans récompense par l’exploration des connaissances mondiales
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Auteurs: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Résumé
La plupart des agents actuels « s’auto-évoluent » en suivant des récompenses et des règles définies par des humains. Cependant, ce processus reste fondamentalement dépendant d’une supervision externe ; sans guidance humaine, l’évolution s’arrête. Dans ce travail, nous entraînons des agents à posséder une capacité intrinsèque de méta-évolution leur permettant d’apprendre spontanément des informations sur des environnements inconnus avant l’exécution des tâches.
Pour inculquer cette capacité, nous concevons un mécanisme de récompense basé sur les résultats, qui mesure à quel point les connaissances du monde générées par l’agent améliorent son taux de réussite sur des tâches en aval. Ce signal de récompense est utilisé exclusivement pendant la phase d’entraînement pour apprendre au modèle à explorer et à synthétiser efficacement. Au moment de l’inférence, l’agent ne nécessite aucune récompense externe ni instruction humaine. Il effectue spontanément une auto-évolution native pour s’adapter à des environnements inconnus en utilisant ses paramètres internes.
Lorsqu’elle est appliquée à Qwen3-30B et Seed-OSS-36B, cette transition vers une évolution native entraîne une amélioration de 20 % des performances sur WebVoyager et WebWalker. Plus frappant encore, les connaissances du monde générées permettent même à un modèle compact Qwen3-14B de surpasser Gemini-2.5-Flash sans assistance, établissant ainsi un nouveau paradigme pour des agents véritablement évolutifs.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.