UltraDexGrasp: Apprendimento della Presa Deftra Universale per Robot Bimanuali con Dati Sintetici

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Autori: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Abstract

La presa è una capacità fondamentale per i robot per interagire con il mondo fisico. Gli esseri umani, dotati di due mani, selezionano autonomamente strategie di presa appropriate in base alla forma, alle dimensioni e al peso degli oggetti, consentendo una presa robusta e una successiva manipolazione. Al contrario, l'attuale presa robotica rimane limitata, specialmente in contesti multi-strategia. Sebbene notevoli sforzi siano stati rivolti alla presa con pinza parallela e a mano singola, la presa destra per robot bimanuali rimane poco esplorata, con i dati che rappresentano il collo di bottiglia principale. Raggiungere prese fisicamente plausibili e geometricamente conformi in grado di resistere a sollecitazioni esterne presenta sfide significative. Per affrontare questi problemi, introduciamo UltraDexGrasp, un framework per la presa destra universale con robot bimanuali. La pipeline di generazione dati proposta integra una sintesi di presa basata sull'ottimizzazione con una generazione di dimostrazioni basata sulla pianificazione, producendo traiettorie di alta qualità e diversificate attraverso multiple strategie di presa. Con questo framework, abbiamo curato UltraDexGrasp-20M, un dataset di presa su larga scala e multi-strategia che comprende 20 milioni di frame su 1.000 oggetti. Basandoci su UltraDexGrasp-20M, sviluppiamo ulteriormente una politica di presa semplice ma efficace che prende come input nuvole di punti, aggrega le caratteristiche della scena tramite attenzione unidirezionale e predice comandi di controllo. Addestrata esclusivamente su dati sintetici, la politica raggiunge un robusto trasferimento zero-shot da simulazione a realtà e riesce costantemente con oggetti nuovi di varie forme, dimensioni e pesi, raggiungendo una percentuale media di successo dell'81,2% nella presa destra universale nel mondo reale. Per facilitare la futura ricerca sulla presa con robot bimanuali, rendiamo open-source la pipeline di generazione dati all'indirizzo https://github.com/InternRobotics/UltraDexGrasp.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.