Entrenamiento de Agentes LLM para la Autoevolución Espontánea y Libre de Recompensas mediante la Exploración del Conocimiento Mundial
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Autores: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Resumen
La mayoría de los agentes actuales "auto-evolucionan" siguiendo recompensas y reglas definidas por humanos. Sin embargo, este proceso sigue siendo fundamentalmente dependiente de una supervisión externa; sin la guía humana, la evolución se detiene. En este trabajo, entrenamos a agentes para que posean una capacidad intrínseca de meta-evolución que les permita aprender espontáneamente sobre entornos no vistos antes de ejecutar una tarea.
Para inculcar esta habilidad, diseñamos un mecanismo de recompensa basado en resultados que mide cuánto mejora el conocimiento del mundo autogenerado por un agente su tasa de éxito en tareas posteriores. Esta señal de recompensa se utiliza exclusivamente durante la fase de entrenamiento para enseñar al modelo a explorar y resumir eficazmente. En el momento de la inferencia, el agente no requiere recompensas externas ni instrucciones humanas. Realiza espontáneamente una auto-evolución nativa para adaptarse a entornos desconocidos utilizando sus parámetros internos.
Cuando se aplica a Qwen3-30B y Seed-OSS-36B, este cambio hacia una evolución nativa produce un aumento del 20% en el rendimiento en WebVoyager y WebWalker. Lo más notable es que el conocimiento del mundo generado incluso permite que un modelo compacto de Qwen3 de 14B supere al Gemini-2.5-Flash sin asistencia, estableciendo un nuevo paradigma para agentes verdaderamente evolutivos.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.