OpenSkill: Open-World-Selbstevolution für LLM-Agenten

Zusammenfassung

Selbst entwickelnde Agenten erfordern eine Anpassung nach dem Einsatz, doch bestehende Ansätze setzen eine nutzbare Lernschleife voraus, wie etwa kuratierte Fähigkeiten, erfolgreiche Trajektorien oder Verifikatorsignale. Echte Open-World-Einsätze bieten möglicherweise nichts davon, sondern lediglich eine Aufgabenanweisung. In dieser Arbeit untersuchen wir die Open-World-Selbstevolution, bei der ein Agent sowohl seine Fähigkeiten als auch seine eigenen Verifikationssignale von Grund auf aufbauen muss, unter Verwendung von Open-World-Ressourcen, jedoch ohne Zielaufgaben-Überwachung. Wir schlagen OpenSkill vor, ein Framework, das diesen Kreislauf initialisiert: Es erwirbt fundiertes Wissen und Verifikationsanker aus Dokumentationen, Repositorien und dem Web, synthetisiert sie zu übertragbaren Fähigkeiten und verfeinert diese Fähigkeiten an selbst erstellten virtuellen Aufgaben, die in den Ankern verankert sind, nicht in Zielantworten. Die offene Welt liefert somit sowohl das zu lernende Wissen als auch eine überwachungsunabhängige Übungsumgebung, wobei die Zielaufgaben-Überwachung für die abschließende Bewertung reserviert bleibt. Über drei Benchmarks und zwei Zielagenten hinweg erzielt OpenSkill die beste automatische Erfolgsquote, während es die Beschränkung ohne Überwachung erfüllt. Die Analyse zeigt, dass seine Fähigkeiten ohne modellspezifische Anpassung zwischen Modellen übertragbar sind, und sein selbst erstellter Verifikator mit den Ground-Truth-Ergebnissen übereinstimmt, obwohl er nie darauf zugreift.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.