OpenSkill: Auto-Evolución en Mundo Abierto para Agentes de LLM

Resumen

Los agentes autoevolutivos requieren adaptación después del despliegue, pero los enfoques existentes asumen un bucle de aprendizaje utilizable, como habilidades curadas, trayectorias exitosas o señales de verificación. Los despliegues reales en entornos abiertos pueden no proporcionar nada de esto, ofreciendo únicamente una indicación de tarea. En este trabajo, estudiamos la autoevolución en mundo abierto, donde un agente debe construir tanto sus habilidades como sus propias señales de verificación desde cero, utilizando recursos del mundo abierto pero sin supervisión de la tarea objetivo. Proponemos OpenSkill, un marco que inicia este bucle: adquiere conocimiento fundamentado y anclas de verificación a partir de documentación, repositorios y la web, los sintetiza en habilidades transferibles y refina dichas habilidades mediante tareas virtuales autoconstruidas, basadas en las anclas y no en respuestas objetivo. Así, el mundo abierto proporciona tanto el conocimiento a aprender como un entorno de práctica independiente de supervisión, reservando la supervisión de la tarea objetivo para la evaluación final. En tres puntos de referencia y dos agentes objetivo, OpenSkill logra la mejor tasa de aprobación automática mientras cumple con la restricción de ausencia de supervisión. El análisis muestra que sus habilidades se transfieren entre modelos sin necesidad de adaptación específica del modelo, y su verificador autoconstruido se alinea con los resultados reales a pesar de no haber accedido nunca a ellos.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.