로보큐레이트: 동작 검증 신경 궤적을 활용한 로봇 학습의 다양성 확보
RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning
February 21, 2026
저자: Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin
cs.AI
초록
비디오 생성 모델로 생성된 합성 데이터는 확장 가능한 파이프라인으로서 로봇 학습에 유망한 가능성을 보여주지만, 불완전하게 생성된 비디오로 인해 일관되지 않은 동작 품질 문제가 종종 발생합니다. 최근에는 비디오 품질 검증을 위해 시각-언어 모델(VLM)이 활용되고 있지만, 물리적으로 정확한 비디오를 구분하는 데 한계가 있으며, 생성된 동작 자체를 직접 평가할 수 없다는 문제점이 있습니다. 이러한 문제를 해결하기 위해 우리는 시뮬레이션 재생과의 비교를 통해 주석이 달린 동작의 품질을 평가하고 필터링하는 새로운 합성 로봇 데이터 생성 프레임워크인 RoboCurate를 소개합니다. 구체적으로 RoboCurate는 예측된 동작을 시뮬레이터에서 재생하고 시뮬레이터 롤아웃과 생성된 비디오 간의 모션 일관성을 측정하여 동작 품질을 평가합니다. 또한, 이미지-이미지 편집을 통해 사용 가능한 데이터셋을 넘어선 관측 다양성을 확보하고, 동작 보존 비디오-비디오 변환을 적용하여 외관을 추가로 증강합니다. 우리는 RoboCurate로 생성된 데이터가 실 데이터만 사용할 때 대비 GR-1 Tabletop(300개 데모)에서 +70.1%, 사전 학습 설정의 DexMimicGen에서 +16.1%, 까다로운 실제 환경 과제인 ALLEX 휴머노이드 정밀 조작 설정에서 +179.9%의 성공률 상대적 개선을 달성함을 확인했습니다.
English
Synthetic data generated by video generative models has shown promise for robot learning as a scalable pipeline, but it often suffers from inconsistent action quality due to imperfectly generated videos. Recently, vision-language models (VLMs) have been leveraged to validate video quality, but they have limitations in distinguishing physically accurate videos and, even then, cannot directly evaluate the generated actions themselves. To tackle this issue, we introduce RoboCurate, a novel synthetic robot data generation framework that evaluates and filters the quality of annotated actions by comparing them with simulation replay. Specifically, RoboCurate replays the predicted actions in a simulator and assesses action quality by measuring the consistency of motion between the simulator rollout and the generated video. In addition, we unlock observation diversity beyond the available dataset via image-to-image editing and apply action-preserving video-to-video transfer to further augment appearance. We observe RoboCurate's generated data yield substantial relative improvements in success rates compared to using real data only, achieving +70.1% on GR-1 Tabletop (300 demos), +16.1% on DexMimicGen in the pre-training setup, and +179.9% in the challenging real-world ALLEX humanoid dexterous manipulation setting.