스킬 하네스 진화를 통한 자기 진화형 구현 에이전트

초록

임보디드 에이전트는 점차 파운데이션 모델을 중심으로 한 시스템으로 구축되고 있으며, 그 성능은 모델 가중치뿐만 아니라 모델을 둘러싼 스킬, 컨텍스트, 동작 인터페이스, 실행 하네스에 의해 결정된다. 지도 파인튜닝과 강화 학습은 에이전트를 새로운 환경에 적응시킬 수 있지만, 추가 데이터, 보상, 학습 실행이 요구된다. 한편, 학습-프리 코드 중심 접근법 중 다수는 프로그래머블 로봇 API에 의존하는데, 이러한 API는 고정 인터페이스 환경에서는 사용할 수 없을 수 있다. 본 논문에서는 모델 파라미터를 동결한 채 대상 환경 롤아웃을 통해 재사용 가능한 스킬과 컨텍스트-코드 하네스를 진화시켜 비모수적 에이전트 시스템을 개선하는, 학습-프리 임보디드 적응을 위한 자기 진화 프레임워크 SHAPER를 제안한다. SHAPER에서 동일한 동결 모델이 플래너와 옵티마이저를 겸하며, 파라미터 업데이트 없이 외부 스킬과 컨텍스트-코드 하네스를 정교화한다. 우리는 서로 다른 저수준 동작 인터페이스를 가진 임보디드 에이전트를 포괄하는 VLABench와 ESI-Bench에서 SHAPER를 평가하고, 순수 실행, 지도 파인튜닝, 그리고 검증기 없는 선택 및 보팅과 같은 테스트-시간 확장 기준선과 비교한다. 실험 결과는 모델 학습에 비용이 많이 들거나, 학습이 불가능하거나, 바람직하지 않은 상황에서 스킬-및-하네스 최적화가 자기 진화 임보디드 에이전트로 가는 실용적 경로임을 시사한다.

English

Embodied agents are increasingly built as systems around foundation models, where performance depends not only on model weights but also on the skills, context, action interfaces, and execution harness surrounding the model. While supervised fine-tuning and reinforcement learning can adapt agents to new environments, they require additional data, rewards, and training runs; meanwhile, many train-free code-centric approaches rely on programmable robot APIs that may be unavailable in fixed-interface settings. We propose SHAPER, a self-evolving framework for train-free embodied adaptation that keeps model parameters frozen and improves the non-parametric agent system by evolving reusable skills and a context-code harness through target-environment rollouts. In SHAPER, the same frozen model can serve as both planner and optimizer, refining its external skills and context-code harness without parameter updates. We evaluate SHAPER on VLABench and ESI-Bench, covering embodied agents with different low-level action interfaces, and compare against pure execution, supervised fine-tuning, and test-time-scaling baselines such as verifier-free selection and voting. Our results suggest that skill-and-harness optimization is a practical route to self-evolving embodied agents when model training is expensive, unavailable, or undesirable.