EmbodiedSkills: VLA 에이전트의 오케스트레이션, 훈련 및 배포를 위한 통합 프레임워크

초록

비전-언어-행동(VLA) 모델은 시각적 관찰과 언어 지시를 로봇 행동으로 직접 매핑하지만, 장기 지평 작업은 단순한 행동 예측 그 이상을 요구한다. 에이전트는 물리적 상태가 변화함에 따라 지각, 계획, 실행, 진행 상황 검증, 그리고 복구를 조정해야 한다. 행동 예측이나 모델이 생성한 기술 결정은 그 자체만으로는 제안된 조작이 현재 상태에서 유효한지, 또는 그 결과가 검증될 것인지를 보장하지 않는다. 본 논문에서는 각 기술 결정을 실행 제안으로 취급하는 통합 프레임워크인 EmbodiedSkills를 제안한다. 실행 시간(runtime)은 실행 전에 선행 조건을 검사하고 실행 후에 결과를 검증한다. 공유된 실행 가능 기술 인터페이스(executable-skill interface)는 단일 에이전트 루프 내에서 상위 수준 기술 선택, 제한된 저수준 VLA 실행, 그리고 행동 후 검증을 연결한다. 이 인터페이스는 고정되어 유지되므로, 저수준 VLA 정책은 에이전트 루프를 변경하지 않고도 교체하거나 적응시킬 수 있다. 또한 이 인터페이스는 계획, 실행, 검증, 복구 이벤트를 구조화된 궤적으로 기록하며, 이는 개별 구성 요소에 대한 감독 신호를 제공하고 상호작용적 피드백이 가능할 때 선택적 온라인 적응을 지원할 수 있다. 우리는 EmbodiedSkills를 RoboTwin 2.0과 LIBERO에서 Qwen3-VL 및 OpenPI/pi0.5로 구현하였다. 과제 적응형 저수준 VLA 정책은 RoboTwin 2.0의 50개 과제에서 평균 성공률 86.20%, 네 개의 LIBERO 스위트에서 97.40%를 달성하였다. 이러한 결과는 EmbodiedSkills에서 사용되는 과제 적응형 저수준 VLA 정책의 실행 성능을 입증한다. 네 개의 메모리 의존적 RMBench 과제에서는 동일한 과제 적응형 실행 접근법이 평균 12.5%의 성공률을 보였다. 본 프레임워크는 이러한 정책을 폐루프 임베디드 시스템으로 전환하기 위한 훈련 가능하고 검사 가능한 에이전트 계층을 제공한다.

English

Vision-language-action (VLA) models map visual observations and language instructions directly to robot actions, but long-horizon tasks require more than action prediction. An agent must coordinate perception, planning, execution, progress verification, and recovery as the physical state evolves. An action prediction or a model-generated skill decision does not, by itself, guarantee that the proposed operation is valid in the current state or that its outcome will be verified. We propose EmbodiedSkills, a unified framework that treats each skill decision as an execution proposal: the runtime checks its prerequisites before execution and verifies the outcome afterward. A shared executable-skill interface connects high-level skill selection, bounded low-level VLA execution, and post-action verification within a single agent loop. Because this interface remains fixed, low-level VLA policies can be replaced or adapted without changing the agent loop. The interface also records planning, execution, verification, and recovery events as structured trajectories, which provide supervision for individual components and can support optional online adaptation when interactive feedback is available. We instantiate EmbodiedSkills with Qwen3-VL and OpenPI/pi0.5 on RoboTwin 2.0 and LIBERO. Task-adapted low-level VLA policies achieve an average success rate of 86.20% across 50 RoboTwin 2.0 tasks and 97.40% across the four LIBERO suites. These results establish the execution performance of the task-adapted low-level VLA policies used in EmbodiedSkills. On four memory-dependent RMBench tasks, the same task-adapted execution approach achieves 12.5% average success. The framework provides a trainable and inspectable agent layer for turning these policies into closed-loop embodied systems.