ロボキュレート:行動検証済み神経軌道による多様性の活用とロボット学習
RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning
February 21, 2026
著者: Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin
cs.AI
要旨
映像生成モデルによって生成された合成データは、ロボット学習におけるスケーラブルなパイプラインとして有望視されているが、不完全に生成された映像に起因する動作品質の不一致に悩まされることが多い。近年、映像の品質検証にビジョン言語モデル(VLM)が利用されているが、物理的に正確な映像を区別する能力には限界があり、仮に区別できたとしても生成された動作そのものを直接評価することはできない。この問題に取り組むため、我々は注釈付き動作の品質をシミュレーション再生と比較して評価・選別する新しい合成ロボットデータ生成フレームワーク、RoboCurateを提案する。具体的には、RoboCurateは予測された動作をシミュレータ内で再生し、シミュレータのロールアウトと生成された映像間の動作の一貫性を測定することで動作品質を評価する。さらに、画像間編集により利用可能なデータセットを超えた観測の多様性を実現し、動作を保持した映像間変換を適用して外観をさらに拡張する。RoboCurateで生成されたデータは、実データのみを使用した場合と比較して成功率において顕著な相対的改善をもたらし、GR-1 Tabletop(300デモ)で+70.1%、事前学習設定のDexMimicGenで+16.1%、困難な実世界タスクであるALLEXヒューマノイド精密把持設定で+179.9%を達成した。
English
Synthetic data generated by video generative models has shown promise for robot learning as a scalable pipeline, but it often suffers from inconsistent action quality due to imperfectly generated videos. Recently, vision-language models (VLMs) have been leveraged to validate video quality, but they have limitations in distinguishing physically accurate videos and, even then, cannot directly evaluate the generated actions themselves. To tackle this issue, we introduce RoboCurate, a novel synthetic robot data generation framework that evaluates and filters the quality of annotated actions by comparing them with simulation replay. Specifically, RoboCurate replays the predicted actions in a simulator and assesses action quality by measuring the consistency of motion between the simulator rollout and the generated video. In addition, we unlock observation diversity beyond the available dataset via image-to-image editing and apply action-preserving video-to-video transfer to further augment appearance. We observe RoboCurate's generated data yield substantial relative improvements in success rates compared to using real data only, achieving +70.1% on GR-1 Tabletop (300 demos), +16.1% on DexMimicGen in the pre-training setup, and +179.9% in the challenging real-world ALLEX humanoid dexterous manipulation setting.