UltraDexGrasp : Apprentissage de la préhension dextre universelle pour robots bimanuels à l'aide de données synthétiques

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Auteurs: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Résumé

La préhension est une capacité fondamentale permettant aux robots d'interagir avec le monde physique. Les humains, équipés de deux mains, sélectionnent de manière autonome des stratégies de préhension appropriées en fonction de la forme, de la taille et du poids des objets, permettant une saisie robuste et une manipulation ultérieure. En revanche, la préhension robotique actuelle reste limitée, particulièrement dans des configurations multi-stratégies. Bien que des efforts substantiels aient ciblé la préhension par pinces parallèles et à une seule main, la préhension habile pour les robots bimanuels reste peu explorée, les données constituant un goulot d'édition majeur. Atteindre des prises physiquement plausibles et géométriquement conformes pouvant résister à des efforts externes pose des défis significatifs. Pour résoudre ces problèmes, nous présentons UltraDexGrasp, un cadre pour la préhension habile universelle avec des robots bimanuels. Le pipeline de génération de données proposé intègre une synthèse de préhension basée sur l'optimisation avec une génération de démonstrations basée sur la planification, produisant des trajectoires de haute qualité et diversifiées couvrant multiples stratégies de préhension. Avec ce cadre, nous constituons UltraDexGrasp-20M, un jeu de données de préhension multi-stratégies à grande échelle comprenant 20 millions d'images sur 1 000 objets. Sur la base d'UltraDexGrasp-20M, nous développons ensuite une politique de préhension simple mais efficace qui prend des nuages de points en entrée, agrège les caractéristiques de la scène via une attention unidirectionnelle et prédit les commandes de contrôle. Entraînée exclusivement sur des données synthétiques, cette politique atteint un transfert robuste zéro-shot du simulateur au réel et réussit systématiquement sur des objets nouveaux aux formes, tailles et poids variés, atteignant un taux de réussite moyen de 81,2 % dans la préhension habile universelle en conditions réelles. Pour faciliter les futures recherches sur la préhension avec des robots bimanuels, nous ouvrons le pipeline de génération de données à l'adresse https://github.com/InternRobotics/UltraDexGrasp.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.