UltraDexGrasp: Leren van universeel behendig grijpen voor bimanuele robots met synthetische data

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

March 5, 2026

Auteurs: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

cs.AI

Samenvatting

Grijpen is een fundamentele vaardigheid voor robots om te interageren met de fysieke wereld. Mensen, uitgerust met twee handen, selecteren autonoom geschikte grijpstrategieën op basis van de vorm, grootte en het gewicht van objecten, wat robuust grijpen en daaropvolgende manipulatie mogelijk maakt. In tegenstelling hiermee blijft het huidige robotgrijpen beperkt, vooral in multi-strategie omgevingen. Hoewel aanzienlijke inspanningen zijn gericht op grijpen met parallelle grijpers en enkele handen, blijft behendig grijpen voor bimanuele robots onderbelicht, waarbij data een primaire bottleneck vormt. Het realiseren van fysisch plausibele en geometrisch conformerende grepen die externe krachten en momenten kunnen weerstaan, vormt aanzienlijke uitdagingen. Om deze problemen aan te pakken, introduceren we UltraDexGrasp, een raamwerk voor universeel behendig grijpen met bimanuele robots. De voorgestelde data-generatiepijplijn integreert op optimalisatie gebaseerde grijpsynthese met op planning gebaseerde demonstratiegeneratie, wat hoogwaardige en diverse trajecten oplevert voor meerdere grijpstrategieën. Met dit raamwerk stellen we UltraDexGrasp-20M samen, een grootschalige, multi-strategie grijpdataset bestaande uit 20 miljoen frames over 1.000 objecten. Gebaseerd op UltraDexGrasp-20M ontwikkelen we verder een eenvoudig maar effectief grijpbeleid dat puntenwolken als invoer neemt, scènekenmerken aggregeert via unidirectionele aandacht en besturingscommando's voorspelt. Uitsluitend getraind op synthetische data bereikt het beleid een robuuste zero-shot sim-to-real transfer en slaagt het consistent op nieuwe objecten met uiteenlopende vormen, maten en gewichten, met een gemiddeld slagingspercentage van 81,2% in real-world universeel behendig grijpen. Om toekomstig onderzoek naar grijpen met bimanuele robots te faciliteren, open-sourcen we de data-generatiepijplijn op https://github.com/InternRobotics/UltraDexGrasp.

English

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.