GR-Dexter 기술 보고서

초록

비전-언어-행동(VLA) 모델은 언어 조건화된 장기간 로봇 매니픈레이션을 가능하게 했지만, 대부분의 기존 시스템은 그리퍼에 국한되어 있습니다. 높은 자유도(DoF)를 가진 양손 디텍터러스 핸드 탑재 양손 로봇으로 VLA 정책을 확장하는 것은 확장된 행동 공간, 빈번한 핸드-객체 폐색, 그리고 실제 로봇 데이터 수집 비용으로 인해 여전히 어려운 과제입니다. 본 연구에서는 양손 디텍터러스 핸드 로봇에서 VLA 기반 일반화 매니픈레이션을 위한 통합 하드웨어-모델-데이터 프레임워크인 GR-Dexter를 소개합니다. 우리의 접근 방식은 컴팩트한 21-DoF 로봇 핸드 설계, 실제 로봇 데이터 수집을 위한 직관적인 양손 원격 조작 시스템, 그리고 원격 조작된 로봇 궤적과 대규모 비전-언어 데이터셋 및 신중하게 선별된 크로스 임보디먼트 데이터셋을 활용하는 훈련 방법을 결합합니다. 일상적인 장기간 매니픈레이션과 일반화 가능한 피크-앤-플레이스를 아우르는 실제 평가에서 GR-Dexter는 도메인 내 우수한 성능과 보이지 않는 객체 및 지시에 대한 향상된 강건성을 달성했습니다. 우리는 GR-Dexter가 일반화된 디텍터러스 핸드 로봇 매니픈레이션을 위한 실용적인 단계가 되기를 바랍니다.

English

Vision-language-action (VLA) models have enabled language-conditioned, long-horizon robot manipulation, but most existing systems are limited to grippers. Scaling VLA policies to bimanual robots with high degree-of-freedom (DoF) dexterous hands remains challenging due to the expanded action space, frequent hand-object occlusions, and the cost of collecting real-robot data. We present GR-Dexter, a holistic hardware-model-data framework for VLA-based generalist manipulation on a bimanual dexterous-hand robot. Our approach combines the design of a compact 21-DoF robotic hand, an intuitive bimanual teleoperation system for real-robot data collection, and a training recipe that leverages teleoperated robot trajectories together with large-scale vision-language and carefully curated cross-embodiment datasets. Across real-world evaluations spanning long-horizon everyday manipulation and generalizable pick-and-place, GR-Dexter achieves strong in-domain performance and improved robustness to unseen objects and unseen instructions. We hope GR-Dexter serves as a practical step toward generalist dexterous-hand robotic manipulation.

GR-Dexter 기술 보고서

GR-Dexter Technical Report

초록

Support