OpenSkill: Auto-Evolução em Mundo Aberto para Agentes de LLM

Resumo

Agentes autoevolutivos exigem adaptação após a implantação, mas abordagens existentes pressupõem um ciclo de aprendizado utilizável, como habilidades curadas, trajetórias bem-sucedidas ou sinais de verificador. Implantações reais em mundo aberto podem não fornecer nada disso, oferecendo apenas uma instrução de tarefa. Neste trabalho, estudamos a autoevolução em mundo aberto, onde um agente deve construir tanto suas habilidades quanto seus próprios sinais de verificação do zero, utilizando recursos do mundo aberto, mas sem supervisão da tarefa alvo. Propomos o OpenSkill, uma estrutura que inicializa esse ciclo: ela adquire conhecimento fundamentado e âncoras de verificação a partir de documentação, repositórios e da web, sintetiza-os em habilidades transferíveis e refina essas habilidades com base em tarefas virtuais autoconstruídas, fundamentadas nas âncoras e não em respostas alvo. O mundo aberto fornece tanto o conhecimento a ser aprendido quanto um ambiente de prática independente de supervisão, com a supervisão da tarefa alvo reservada para avaliação final. Em três referências e dois agentes alvo, o OpenSkill atinge a melhor taxa de aprovação automatizada, satisfazendo a restrição de ausência de supervisão. A análise mostra que suas habilidades transferem entre modelos sem adaptação específica do modelo, e seu verificador autoconstruído se alinha com os resultados reais, apesar de nunca acessá-los.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.