OpenSkill: LLM 에이전트를 위한 오픈 월드 자기 진화

초록

자기 진화 에이전트는 배포 후 적응이 필요하지만, 기존 접근법은 큐레이션된 기술, 성공적인 궤적, 또는 검증 신호와 같은 사용 가능한 학습 루프를 가정한다. 실제 개방형 세계 배포에서는 이러한 요소 중 어느 것도 제공되지 않을 수 있으며, 오직 작업 프롬프트만 주어질 수 있다. 본 연구에서는 에이전트가 대상 작업 감독 없이 개방형 세계 자원을 사용하여 자신의 기술과 검증 신호를 처음부터 구축해야 하는 개방형 세계 자기 진화를 탐구한다. 우리는 이 루프를 부트스트래핑하는 프레임워크인 OpenSkill을 제안한다. 이 프레임워크는 문서, 저장소 및 웹으로부터 기반 지식과 검증 앵커를 획득하고, 이를 전이 가능한 기술로 합성하며, 대상 답변이 아닌 앵커에 기반한 자체 구축 가상 작업에 대해 해당 기술을 개선한다. 따라서 개방형 세계는 학습해야 할 지식과 감독 독립적인 연습 환경을 모두 제공하며, 대상 작업 감독은 최종 평가를 위해 남겨둔다. 세 가지 벤치마크와 두 가지 대상 에이전트에 걸쳐 OpenSkill은 감독 없음 제약을 충족하면서 최고의 자동 통과율을 달성한다. 분석 결과, 이 기술은 모델 특화 적응 없이도 모델 간 전이가 가능하며, 자체 구축 검증기는 실제 결과에 접근하지 않고도 해당 결과와 일치함을 보여준다.

English

Self-evolving agents requires adaptation after deployment, but existing approaches assume a usable learning loop, such as curated skills, successful trajectories, or verifier signals. Real open-world deployments may provide none of these, offering only a task prompt. In this work, we study open-world self-evolution, where an agent must build both its skills and its own verification signals from scratch, using open-world resources but no target-task supervision. We propose OpenSkill, a framework that bootstraps this loop: it acquires grounded knowledge and verification anchors from documentation, repositories, and the web, synthesizes them into transferable skills, and refines those skills against self-built virtual tasks grounded in the anchors rather than in target answers. The open world thus supplies both the knowledge to be learned and a supervision-independent practice environment, with target-task supervision reserved for final evaluation. Across three benchmarks and two target agents, OpenSkill attains the best automated pass rate while satisfying the no-supervision constraint. Analysis shows its skills transfer across models without model-specific adaptation, and its self-built verifier aligns with ground-truth outcomes despite never accessing them.