OpenSkill: Open-Wereld Zelfevolutie voor LLM-Agenten

Samenvatting

Zelf-evoluerende agenten vereisen aanpassing na implementatie, maar bestaande benaderingen gaan uit van een bruikbare leerlus, zoals samengestelde vaardigheden, succesvolle trajecten of verificateursignalen. Echte open-wereldimplementaties bieden mogelijk geen van deze, maar alleen een taakprompt. In dit werk bestuderen we open-wereldzelfevolutie, waarbij een agent zowel zijn vaardigheden als zijn eigen verificatiesignalen vanaf nul moet opbouwen, gebruikmakend van open-wereldbronnen maar zonder supervisie voor de doeltaak. We stellen OpenSkill voor, een raamwerk dat deze lus bootstrapt: het verkrijgt gefundeerde kennis en verificatieankers uit documentatie, repositories en het web, synthetiseert deze tot overdraagbare vaardigheden en verfijnt die vaardigheden aan de hand van zelfgebouwde virtuele taken die zijn gefundeerd in de ankers in plaats van in doelantwoorden. De open wereld levert dus zowel de te leren kennis als een supervisie-onafhankelijke oefenomgeving, waarbij supervisie voor de doeltaak alleen wordt gebruikt voor de uiteindelijke evaluatie. Over drie benchmarks en twee doelagenten heen behaalt OpenSkill het beste geautomatiseerde slagingspercentage, terwijl het voldoet aan de geen-toezichtbeperking. Analyse toont aan dat de vaardigheden overdraagbaar zijn tussen modellen zonder modelspecifieke aanpassingen, en dat de zelfgebouwde verificateur overeenstemt met de grondwaarheidsuitkomsten, hoewel hij daar nooit toegang toe heeft gehad.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.