Training von LLM-Agenten für spontane, belohnungsfreie Selbstevolution durch Exploration von Weltwissen
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Autoren: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Zusammenfassung
Die meisten Agenten heutzutage „entwickeln sich selbst“ weiter, indem sie von Menschen definierte Belohnungen und Regeln befolgen. Dieser Prozess bleibt jedoch grundsätzlich von externer Aufsicht abhängig; ohne menschliche Anleitung kommt die Evolution zum Stillstand. In dieser Arbeit trainieren wir Agenten darauf, eine intrinsische Meta-Evolutionsfähigkeit zu besitzen, um spontan Kenntnisse über unbekannte Umgebungen *vor* der Aufgabendurchführung zu erlernen.
Um diese Fähigkeit zu vermitteln, entwickeln wir einen ergebnisbasierten Belohnungsmechanismus, der misst, inwieweit das selbstgenerierte Weltwissen eines Agenten seine Erfolgsquote bei nachgelagerten Aufgaben verbessert. Dieses Belohnungssignal wird ausschließlich während der Trainingsphase verwendet, um dem Modell beizubringen, wie es effektiv explorieren und zusammenfassen kann. Zum Inferenzzeitpunkt benötigt der Agent keine externen Belohnungen oder menschlichen Anweisungen mehr. Er führt spontan eine native Selbstevolution durch, um sich mithilfe seiner internen Parameter an unbekannte Umgebungen anzupassen.
Bei der Anwendung auf Qwen3-30B und Seed-OSS-36B führt dieser Wechsel zur nativen Evolution zu einer Leistungssteigerung von 20 % auf WebVoyager und WebWalker. Am bemerkenswertesten ist, dass das generierte Weltwissen sogar einem kompakten Qwen3-14B-Modell ermöglicht, den ununterstützten Gemini-2.5-Flash zu übertreffen – was ein neues Paradigma für wahrhaft sich entwickelnde Agenten etabliert.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.