Treinamento de Agentes LLM para Auto-Evolução Espontânea e Livre de Recompensas por meio da Exploração do Conhecimento Mundial
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Autores: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Resumo
A maioria dos agentes atuais "auto-evolui" seguindo recompensas e regras definidas por humanos. No entanto, esse processo permanece fundamentalmente dependente de supervisão externa; sem orientação humana, a evolução cessa. Neste trabalho, treinamos agentes para possuir uma capacidade intrínseca de meta-evolução, permitindo-lhes aprender espontaneamente sobre ambientes não vistos antes da execução da tarefa.
Para incutir essa capacidade, projetamos um mecanismo de recompensa baseado em resultados que mede o quanto o conhecimento do mundo gerado pelo próprio agente melhora sua taxa de sucesso em tarefas subsequentes. Este sinal de recompensa é usado exclusivamente durante a fase de treinamento para ensinar o modelo a explorar e resumir efetivamente. No momento da inferência, o agente não requer recompensas externas ou instruções humanas. Ele realiza espontaneamente uma auto-evolução nativa para se adaptar a ambientes desconhecidos usando seus parâmetros internos.
Quando aplicado aos modelos Qwen3-30B e Seed-OSS-36B, essa mudança para a evolução nativa resulta em um aumento de 20% no desempenho em WebVoyager e WebWalker. O mais notável é que o conhecimento do mundo gerado permite até mesmo que o modelo compacto Qwen3 de 14B supere o Gemini-2.5-Flash sem assistência, estabelecendo um novo paradigma para agentes verdadeiramente evolutivos.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.