Обучение агентов на основе больших языковых моделей для спонтанной самоэволюции без вознаграждений через исследование знаний о мире
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
April 20, 2026
Авторы: Qifan Zhang, Dongyang Ma, Tianqing Fang, Jia Li, Jing Tang, Nuo Chen, Haitao Mi, Yan Wang
cs.AI
Аннотация
Современные агенты в основном «самоэволюционируют», следуя вознаграждениям и правилам, заданным человеком. Однако этот процесс остается фундаментально зависимым от внешнего контроля: без человеческого руководства эволюция прекращается. В данной работе мы обучаем агентов обладать внутренней мета-эволюционной способностью — спонтанно изучать незнакомые среды до выполнения задачи.
Для формирования этой способности мы разработали механизм вознаграждения, основанный на результате, который оценивает, насколько сгенерированные агентом знания о мире повышают его успешность в последующих задачах. Этот сигнал вознаграждения используется исключительно на этапе обучения, чтобы научить модель эффективно исследовать и обобщать информацию. На этапе вывода агент не требует внешних вознаграждений или инструкций. Он спонтанно выполняет аутохтонную самоэволюцию, адаптируясь к неизвестным средам с помощью внутренних параметров.
Применение этого подхода к моделям Qwen3-30B и Seed-OSS-36B привело к 20% росту производительности в задачах WebVoyager и WebWalker. Наиболее впечатляюще то, что сгенерированные знания о мире позволили компактной модели Qwen3 на 14 млрд параметров превзойти модель Gemini-2.5-Flash без дополнительной помощи, устанавливая новую парадигму по-настоящему эволюционирующих агентов.
English
Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution.
To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters.
When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.