OpenSkill : Auto-évolution en monde ouvert pour agents LLM

Résumé

Les agents auto-évolutifs nécessitent une adaptation après le déploiement, mais les approches existantes supposent l'existence d'une boucle d'apprentissage utilisable, telle que des compétences organisées, des trajectoires réussies ou des signaux de vérificateur. Les déploiements réels en monde ouvert peuvent n'en fournir aucun, n'offrant qu'une invite de tâche. Dans ce travail, nous étudions l'auto-évolution en monde ouvert, où un agent doit construire à la fois ses compétences et ses propres signaux de vérification à partir de zéro, en utilisant des ressources du monde ouvert mais sans supervision de la tâche cible. Nous proposons OpenSkill, un cadre qui amorce cette boucle : il acquiert des connaissances ancrées et des points d'ancrage de vérification à partir de la documentation, des dépôts et du web, les synthétise en compétences transférables, et affine ces compétences par rapport à des tâches virtuelles auto-construites ancrées dans les points d'ancrage plutôt que dans des réponses cibles. Le monde ouvert fournit ainsi à la fois les connaissances à apprendre et un environnement d'entraînement indépendant de la supervision, la supervision de la tâche cible étant réservée à l'évaluation finale. Sur trois points de repère et deux agents cibles, OpenSkill atteint le meilleur taux de réussite automatisé tout en satisfaisant la contrainte de non-supervision. L'analyse montre que ses compétences se transfèrent entre modèles sans adaptation spécifique au modèle, et que son vérificateur auto-construit s'aligne sur les résultats de référence bien qu'il n'y ait jamais accès.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.